百度 AnyQ 配置说明

Posted 2023-05-15

参考技术A 所谓FAQ(Frequently Asked Questions)问答，指的是通过构建一个数量巨大的问题答案库来作为语料库，当输入一个问题时，通过计算该问题与语料库中的所有问题的语义相似度，给出语义最相似的问题所对应的答案。两个问题语义相似度的计算方法，有：余弦相似度、Jaccard相似度、BM25相似度等。

在AnyQ系统中，索引（Indexing）模块的作用是根据所给定的问题答案数据集，通过将其转换为语义索引库，从而提供检索（Retrieval）、匹配（Matching）模块进行语义相似度计算，匹配出与所提问题最相似的答案。

问题分析模块（Analysis）是整个系统中对输入问题进行解析的第一个模块。该模块所完成的主要功能有:

但是，在最初的AnyQ系统中，其仅实现了句子分词及词向量表示功能，并提供了相应功能插件的配置。其他，例如POS和NER的功能需要用户自行实现并添加。

在策略插件中使用的词典，需在 AnyQ/build/example/dict.conf 中配置。当前系统的词典插件主要包括以下几种：

配置方式如下所示：

在 AnyQ/build/example/analysis.conf 中可以增添query分析策略插件。当前系统的analysis插件主要包括以下几种:

配置方式如下所示：

句子分词功能添加完毕后，要实现分好词的每个单词进行词向量的表示，需要在解析模块的配置文件中（AnyQ/build/example/analysis.conf）添加相应功能插件，其格式如下：

输入的问题通过分析模块（Analysis）对问题进行分词，词向量表示等操作后，再输入到问题检索模块（Retrieval），由该模块将问题带入到FAQ数据集中进行检索，得到前N个候选问题。

该模块目前所提供的问题检索功能有：

基于关键词的检索，即根据已添加的数据集，通过TF-IDF，为该数据集构建倒排索引，当一个已经分词的问题输入后，匹配前N个候选问题。

检索模块的配置路径为 AnyQ/build/example/retrieval.conf ，通过在该文件中添加关键词索引插件：

其中，solr_q是solr搜索服务器查询的插件，该插件所提供的搜索类型（type）有：

基于语义的检索，是由AnyQ中的SimNet模块根据所提供数据集训练好后的模型，来对输入问题（词向量表示）与候选问题进行计算检索。检索模块的配置路径为 AnyQ/build/example/retrieval.conf ，通过在该文件中添加语义索引插件：

通过检索模块（Retrieval）从索引库中得到N个候选问题以后，需要带入到问题匹配模块（Matching），依次对每个候选问题与输入问题计算其相似度。对于同一个候选问题-输入问题对来说，可以同时计算多种类型的相似度.

该模块目前所提供的相似度计算功能有：

将候选问题与输入问题带入到问题匹配模块（Matching）以后，为了能够与输入问题进行相似度计算，首先需要对候选问题进行分词，其配置路径为： AnyQ/build/example/rank.conf 。

配置插件为：

在该模块中，对候选问题与输入问题进行相似度计算主要分为两种：传统的距离度量学习的方法（Cosine相似度、Jaccard相似度等）和深度学习的方法（语义相似度计算）。其配置路径为： AnyQ/build/example/rank.conf 。

配置插件为：

其中output_num表示该插件输出的相似度值个数，对于不输出相似度的插件(如WordsegProcessor)，output_num应配置为0; rough配置为true表示该相似度用于粗排，反之则用于精排。
计算相似度需要先对候选切词，因此WordsegProcessor插件应该配置在其他matching_config之前。
需要注意的是，在该模块配置文件中，如果配置了多种相似度计算插件，则对于一个问题对来说，将对其分别计算相应插件的相似度，最终得到多个相似度，每一个相似度可看作该问题对的一个特征，这多个特征最终需要带入到问题打分模块（rank）来对该问题对进行综合的打分。

在 AnyQ/build/example/rank.conf 中配置predictorc插件，用于根据多个相似度对候选计算得分。当前系统的rank插件主要包括以下几种：

配置格式如下：

Android Studio 配置使用百度api (附带简单样例)

还是和同学开发的那个课程作业项目的app, 要使用到百度地图的api

但是，官方文档貌似只有Eclipse的例子，对Android Studio似乎没有说明.  难道，是因为后者是 "Doodle" 的产品 ？ 呵呵

api的使用很简单。 类Field和方法，官方文档已经给得很详细了。

而且在你的app使用api之前，需要在baidu map开发者官网上申请一个密钥，绑定你的应用，否则服务器不会理你。这些官方文档都有了，就不赘述了。

http://developer.baidu.com/map/index.php?title=android-locsdk/geosdk-android-download

在上面的sdk中，随便挑一个版本下载，我下的是最新的版本5.1

得到一个文件夹 BaiduLBS_AndroidSDK_Lib，目录结构如下所示：

这样剩下两个问题：

1. 怎么把下载下来的sdk里面的 jar文件和 so文件配置入 Android Studio  

2. 怎么配置 Manifest

解决方法：

1. 把 jar 文件放到Project structure的 libs目录下:

右键这个jar文件，把它加到库里面去 (add as libraries)

然后，在libs下创建一个子目录：armeabi，把so文件放进这个子目录中

2. AndroidManifest.xml的配置，官方文档的demo里面就有。但如果你懒得下，那就往下看，变化的不多。

在manifest中，添加子元素:

    <uses-permission android:name="android.permission.BAIDU_LOCATION_SERVICE"></uses-permission>
    <uses-permission android:name="android.permission.ACCESS_COARSE_LOCATION"></uses-permission>
    <uses-permission android:name="android.permission.ACCESS_FINE_LOCATION"></uses-permission>
    <uses-permission android:name="android.permission.ACCESS_WIFI_STATE"></uses-permission>
    <uses-permission android:name="android.permission.ACCESS_NETWORK_STATE"></uses-permission>
    <uses-permission android:name="android.permission.CHANGE_WIFI_STATE"></uses-permission>
    <uses-permission android:name="android.permission.READ_PHONE_STATE"></uses-permission>
    <uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE"></uses-permission>
    <uses-permission android:name="android.permission.INTERNET"></uses-permission>
    <uses-permission android:name="android.permission.MOUNT_UNMOUNT_FILESYSTEMS"></uses-permission>
    <uses-permission android:name="android.permission.READ_LOGS"></uses-permission>

在application中，添加子元素:

<service
	android:name="com.baidu.location.f"
		android:enabled="true"
		android:process=":remote" >
		<intent-filter>
			<action android:name="com.baidu.location.service_v2.2" >
				</action>
		</intent-filter>
</service>
<!-- meta-data需要写在application中 -->
	<meta-data
			android:name="com.baidu.lbsapi.API_KEY"
			android:value="请输入申请的key" />

是不是感觉配置文件有一点奇怪？ But it worked.

现在，你就可以正常地使用api编写代码了.

这里，给出我的一个简单的例子，它的功能是每点击一次按钮，获取当前的经纬度.

xml:

<LinearLayout xmlns:android="http://schemas.android.com/apk/res/android"
	xmlns:tools="http://schemas.android.com/tools"
	android:layout_width="match_parent"
	android:layout_height="match_parent"
	tools:context=".MyActivity"
	>
	<TextView
		android:id="@+id/show_position"
		android:text="@string/hello_world"
		android:layout_width="wrap_content"
		android:layout_height="wrap_content" />
	<LinearLayout
		android:layout_width="match_parent"
		android:layout_height="wrap_content"
		android:orientation="horizontal"
		android:gravity="center_horizontal"
		>
		<Button
			android:id="@+id/control_button"
			android:layout_width="wrap_content"
			android:layout_height="wrap_content"
			android:text="get pos per click"
			android:layout_marginLeft="100dp"
			/>
	</LinearLayout>
</LinearLayout>

Java:

package com.example.user.testmap;
import android.app.Activity;
import android.os.Bundle;
import android.view.Menu;
import android.view.MenuItem;
import android.view.View;
import android.widget.Button;
import android.widget.TextView;
import com.baidu.location.BDLocation;
import com.baidu.location.BDLocationListener;
import com.baidu.location.LocationClient;
import com.baidu.location.LocationClientOption;
public class MyActivity extends Activity {
	public TextView show_position;
	public Button getPositionOnce;
	private LocationClient mLocationClient;
	private LocationClientOption mOption;
	public double Latitude, Longitude;
	@Override
	protected void onCreate(Bundle savedInstanceState) {
		super.onCreate(savedInstanceState);
		setContentView(R.layout.activity_my);
		show_position = (TextView) findViewById(R.id.show_position);
		getPositionOnce = (Button) findViewById(R.id.control_button);
		mLocationClient = new LocationClient(this);
		mOption = new LocationClientOption();
		/* 设置选项 */
		mOption.setOpenGps(true);
		mOption.setCoorType("bd09ll");
		mOption.setScanSpan(100);		   //每隔0.1s, 扫描一次 (应该就是卫星定位的意思)
		/* 本地取址Client 端设置 Option选项 */
		mLocationClient.setLocOption(mOption);
		/* 设置监听器，监听服务器发送过来的地址信息 */
		mLocationClient.registerLocationListener(new BDLocationListener() {
			@Override
			public void onReceiveLocation(BDLocation bdLocation) {
				if(bdLocation == null)
					return;
				StringBuffer sb = new StringBuffer(256);
				/* 获取经纬度 */
				Latitude = bdLocation.getLatitude();
				Longitude = bdLocation.getLongitude();
				sb.append("latitude:  "+Latitude+"\n");
				sb.append("longitude: "+Longitude);
				show_position.setText(sb.toString());
				mLocationClient.stop();
			}
		});
		getPositionOnce.setOnClickListener(new View.OnClickListener() {
			@Override
			public void onClick(View v) {
				if(mLocationClient == null)
					return;
				mLocationClient.start();
			}
		});
	}
	@Override
	public void onDestroy() {
		if(mLocationClient != null && mLocationClient.isStarted()) {
			mLocationClient.stop();
			mLocationClient=null;
		}
		super.onDestroy();
	}
	@Override
	public boolean onCreateOptionsMenu(Menu menu) {
		// Inflate the menu; this adds items to the action bar if it is present.
		getMenuInflater().inflate(R.menu.my, menu);
		return true;
	}
	@Override
	public boolean onOptionsItemSelected(MenuItem item) {
		// Handle action bar item clicks here. The action bar will
		// automatically handle clicks on the Home/Up button, so long
		// as you specify a parent activity in AndroidManifest.xml.
		int id = item.getItemId();
		if (id == R.id.action_settings) {
			return true;
		}
		return super.onOptionsItemSelected(item);
	}
}