数据地图搜索功能模块项目总结springBoot+Elasticsearch
Posted 蓝桉不遇释怀
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了数据地图搜索功能模块项目总结springBoot+Elasticsearch相关的知识，希望对你有一定的参考价值。
数据地图搜索功能模块项目总结
项目介绍
这个模块主要是对近期所做的一个项目的一个总结，主要是针对数据地图中的一个搜索功能做一个优化。那么什么是数据地图呢？这里简单上网查了点资料：
什么是数据地图
针对此次项目中的数据地图，数据地图是基于元数据中心构建的一站式企业数据资产目录，可以看作是元数据中心的界面。数据开发、分析师、数据运营、算法工程师可以在数据地图上完成数据的检索，解决了不知道有哪些数据？到哪里找数据？如何准确的理解数据的难题。
数据地图提供了多维度的检索功能，使用者可以按照表名、列名、注释、主题域、分层、指标进行检索，结果按照匹配相关度进行排序。考虑到数据中台中有一些表是数仓维护的表，有一些表数仓已经不再维护，在结果排序的时候，增加了数仓维护的表优先展示的规则。同时数据地图还提供了按照主题域、业务过程导览，可以帮助使用者快速了解当前有哪些表可以使用。
当使用者定位到某一个表打开时，会进入详情页，详情页中会展示表的基础信息，字段信息、分区信息、产出信息以及数据血缘。数据血缘可以帮助使用者了解这个表的来源和去向，这个表可能影响的下游应用和报表，这个表的数据来源。
数据地图同时还提供了数据预览的功能，考虑到安全性因素，只允许预览 10 条数据，用于判断数据是否符合使用者的预期。数据地图提供的收藏功能， 方便使用者快速找到自己经常使用的表。当数据开发、分析师、数据运营找到自己需要的表时，在数据地图上可以直接发起申请对该表的权限申请。数据地图对于提高数据发现的效率，实现非技术人员自助取数有重要作用。
项目中具体任务介绍
在此次项目中，主要是原来的数据地图在搜索功能做的并不是很友好，比如关键字检索所需要的信息时，仅仅支持单个关键字的检索，也就是说在进行关键字检索的时候，后端的处理时将前端返回的关键字提取出来后，在后台处理也就是做了一个模糊匹配，并且对查询到的数据做的排序也仅仅是对查询到的数据通过id由高到低的排序（由高到低的排序，个人觉得是由于在创建索引时由于大部分表都是自增id，所以将比较大的id排序在前面算是基本符合条件的），综上描述可以知道整体的搜索功能还是有所欠缺的，一个数据地图的搜索功能至少要支持的操作便是对搜索关键字进行分析处理，提取出关键信息，在与数据进行匹配，最后结果按照匹配相关度进行排序。
分析设计
针对上面的介绍，以及对其他大厂的数据地图的分析，可以得知数据地图要满足一下条件
- 查询速度要快
- 数据匹配度要高
- 方便排序
- 返回结构高亮
由此可知要满足以上条件，elasticsearch是个很不错的选择，通过对elasticsearch的使用，我总结了一下的它的特点：
- Elasticsearch 易于安装和配置，学习和使用成本较低，开箱即用。
- Elasticsearch 支持单机也支持分布式，内置分布式协调管理功能，天生集群。
- Elasticsearch 提供了分片和副本机制，一个索引可以分成多个分片，一个分片可以设置多个复制分片，提高效率和高可用。
- Elasticsearch 注重于核心功能实现，高级功能多有第三方插件提供，例如图形化界面 Kibana 的支撑。
- Elasticsearch 建立索引快，实时性查询快，适用于新兴的实时搜索应用，面对海量数据也毫不逊色，速度快，负载强。
- Elasticseach 有强大的文本分析功能（分词）和倒排索引机制，进一步提升搜索速度。
而要做到多个关键字的搜索功能，elssticsearch也提供了分词的功能，下面我使用“中华人民共和国国歌”这个关键词来进行对比elasticsearch的三种分词方法：
-
单字分词：
如：“中华人民共和国国歌”
效果：“中”、“华”、“人”、“民”、“共”、“和”、“国”、“歌” -
二分法分词：
按两个字进行切分。
如：“中华人民共和国国歌”
效果：“中华”、“华人”、“人民”、“民共”、“共和”、“和国”、“国国”、“国歌”。 -
词库分词：
在这里我使用的是ik分词器，至于ik分词器的安装，可以自行搜索安装教程，也是比较简单的在这里我就不说了，ik分词器主要提供了两种分词模式分别是： -
ik_max_word：会将文本做最细粒度的拆分，比如会将“中华人民共和国国歌”拆分为“中华人民共和国,中华人民,中华,华人,人民共和国,人民,人,民,共和国,共和,和,国国,国歌”，会穷尽各种可能的组合，适合 Term Query。
-
ik_smart：会将文本做最粗粒度的拆分，比如会将“中华人民共和国国歌”拆分为“中华人民共和国,国歌”，适合 Phrase Query。
由于elasticsearch的以上特性，我便使用了它作为了数据的存储
数据迁移
首先由于对elasticsearch的不熟悉，以及工作性质的原因，数据要想从mysql中同步到elasticsearch，无法使用logstash等工具进行数据同步，因此我只能自己定义接口，将自己所需要的数据表全部同步到一个索引字段中（当时写的很累），其实也就是查询所有的数据到一张表中，让一个对象来接住所有的数据，然后再一个对象一行json数据，调用添加数据的接口，将数据插入elasticsearch。下面主要来说说再这个过程中，自己原来接触很少的知识点吧。
- 在创建elasticsearch里面的映射，也就是mysql中的字段时，针对不同的字段，可以做出不同的处理（这里的处理包括对字段的存储分词模式以及查询分词模式，最好在创建映射时就定义好，先定义好映射再传入数据），比如当需要存储一个字段为一个对象时，我们可以直接将这个字段设置成一个对象，当然它在后端中对应的也是一个对象。
- 针对上面整个索引结构，如果我们需要在mysql中查询怎么办？在这里我用到了以前从未使用过一个方法，在这里我就不细说了，如果有类似的情况的，可以搜索@Many注解
springBoot集成elasticsearch
虽然原来也有写过类似的集成博文，但是由于这次是公司项目，有指定elasticsearch的版本必须为5.5.1,个人认为ES 5、6、7的改动还是挺大的，所以这次还是将整个集成过程写出来吧！
相关依赖
<dependency>
<groupId>org.elasticsearch</groupId>
<artifactId>elasticsearch</artifactId>
<version>5.5.1</version>
</dependency>
<dependency>
<groupId>org.elasticsearch.client</groupId>
<artifactId>transport</artifactId>
<version>5.5.1</version>
</dependency>
application.yml配置文件
spring:
elasticsearch:
host-name: 自己配置的elasticsearch地址
port: 端口
clusterName: 集群的名字
pool: 线程数量
config配置类
@Configuration
@Slf4j
public class ElasticsearchConfig
@Value("$spring.elasticsearch.host-name")
private String hostName;
@Value("$spring.elasticsearch.clusterName")
private String clusterName;
@Value("$spring.elasticsearch.port")
private Integer port;
@Value("$spring.elasticsearch.pool")
private Integer pool;
@Bean(name = "transportClient")
public TransportClient transportClient()
TransportClient transportClient = null;
try
Settings settings = Settings.builder().put("culster.name",clusterName)
.put("client.transport.sniff",false)
.put("thread_pool.search.size",pool).build();
transportClient = new PreBuiltTransportClient(settings);
TransportAddress transportAddress = new InetSocketTransportAddress(InetAddress.getByName(hostName),port)
catch (Exception e)
log.error("连接失败",e);
return transportClient;
ElasticsearchUtil工具类
@Component
@Slf4j
public class ElasticSearchUtil
@Autowired
private TransportClient transportClient;
private static TransportClient client;
/**
* @PostContruct是spring框架的注解
* spring容器初始化的时候执行该方法
*/
@PostConstruct
public void init()
client = this.transportClient;
/**
* 创建索引
*
* @param index
* @return
*/
public static boolean createIndex(String index)
if(!isIndexExist(index))
log.info("Index is not exits!");
else
log.info("Index is exits!");
CreateIndexResponse indexResponse = client.admin().indices().prepareCreate(index).execute().actionGet();
log.info("执行建立成功？" + indexResponse.isAcknowledged());
return indexResponse.isAcknowledged();
/**
* 删除索引
*
* @param index
* @return
*/
public static boolean deleteIndex(String index)
if(!isIndexExist(index))
log.info("Index is not exits!");
// AcknowledgedResponse dResponse = client.admin().indices().prepareDelete(index).execute().actionGet();
DeleteIndexResponse dResponse = client.admin().indices().prepareDelete(index).execute().actionGet();
if (dResponse.isAcknowledged())
log.info("delete index " + index + " successfully!");
else
log.info("Fail to delete index " + index);
return dResponse.isAcknowledged();
/**
* 判断索引是否存在
*
* @param index
* @return
*/
public static boolean isIndexExist(String index)
IndicesExistsResponse inExistsResponse = client.admin().indices().exists(new IndicesExistsRequest(index)).actionGet();
if (inExistsResponse.isExists())
log.info("Index [" + index + "] is exist!");
else
log.info("Index [" + index + "] is not exist!");
return inExistsResponse.isExists();
/**
* 数据添加，正定ID
*
* @param jsonObject 要增加的数据
* @param index 索引，类似数据库
* @param type 类型，类似表
* @param id 数据ID
* @return
*/
public static String addData(JSONObject jsonObject, String index, String type, String id)
IndexResponse response = client.prepareIndex(index, type, id).setSource(jsonObject).get();
log.info("addData response status:,id:", response.status().getStatus(), response.getId());
return response.getId();
/**
* 数据添加
*
* @param jsonObject 要增加的数据
* @param index 索引，类似数据库
* @param type 类型，类似表
* @return
*/
public static String addData(JSONObject jsonObject, String index, String type)
return addData(jsonObject, index, type, UUID.randomUUID().toString().replaceAll("-", "").toUpperCase());
/**
* 通过ID删除数据
*
* @param index 索引，类似数据库
* @param type 类型，类似表
* @param id 数据ID
*/
public static void deleteDataById(String index, String type, String id)
DeleteResponse response = client.prepareDelete(index, type, id).execute().actionGet();
log.info("deleteDataById response status:,id:", response.status().getStatus(), response.getId());
/**
* 通过ID 更新数据
*
* @param jsonObject 要增加的数据
* @param index 索引，类似数据库
* @param type 类型，类似表
* @param id 数据ID
* @return
*/
public static void updateDataById(JSONObject jsonObject, String index, String type, String id)
UpdateRequest updateRequest = new UpdateRequest();
updateRequest.index(index).type(type).id(id).doc(jsonObject);
client.update(updateRequest);
/**
* 通过ID获取数据
*
* @param index 索引，类似数据库
* @param type 类型，类似表
* @param id 数据ID
* @param fields 需要显示的字段，逗号分隔（缺省为全部字段）
* @return
*/
public static Map<String,Object> searchDataById(String index, String type, String id, String fields)
GetRequestBuilder getRequestBuilder = client.prepareGet(index, type, id);
if (StringUtils.isNotEmpty(fields))
getRequestBuilder.setFetchSource(fields.split(","), null);
GetResponse getResponse = getRequestBuilder.execute().actionGet();
return getResponse.getSource();
/**
* 使用分词查询,并分页
*
* @param index 索引名称
* @param type 类型名称,可传入多个type逗号分隔
* @param startPage 当前页
* @param pageSize 每页显示条数
* @param query 查询条件
* @param fields 需要显示的字段，逗号分隔（缺省为全部字段）
* @param sortField 排序字段
* @param highlightField 高亮字段
* @return
*/
public static EsPage searchDataPage(String index, String type, int startPage, int pageSize, QueryBuilder query, String fields, String sortField, String highlightField)
SearchRequestBuilder searchRequestBuilder = client.prepareSearch(index);
if (StringUtils.isNotEmpty(type))
searchRequestBuilder.setTypes(type.split(","));
searchRequestBuilder.setSearchType(SearchType.QUERY_THEN_FETCH);
// 需要显示的字段，逗号分隔（缺省为全部字段）
if (StringUtils.isNotEmpty(fields))
searchRequestBuilder.setFetchSource(fields.split(","), null);
//排序字段
if (StringUtils.isNotEmpty(sortField))
searchRequestBuilder.addSort(sortField, SortOrder.DESC);
// 高亮（xxx=111,aaa=222）
if (StringUtils.isNotEmpty(highlightField))
HighlightBuilder highlightBuilder = new HighlightBuilder();
//highlightBuilder.preTags("<span style='color:red' >");//设置前缀
//highlightBuilder.postTags("</span>");//设置后缀
// 设置高亮字段
highlightBuilder.field(highlightField);
searchRequestBuilder.highlighter(highlightBuilder);
//searchRequestBuilder.setQuery(QueryBuilders.matchAllQuery());
searchRequestBuilder.setQuery(query);
// 分页应用
searchRequestBuilder.setFrom(startPage).setSize(pageSize);
// 设置是否按查询匹配度排序
searchRequestBuilder.setExplain(true);
//打印的内容 可以在 Elasticsearch head 和 Kibana 上执行查询
log.info("\\n", searchRequestBuilder);
// 执行搜索,返回搜索响应信息
SearchResponse searchResponse = searchRequestBuilder.execute().actionGet();
long totalHits = searchResponse.getHits().getTotalHits();
long length = searchResponse.getHits().getHits().length;
log.debug("共查询到[]条数据,处理数据条数[]", totalHits, length);
if (searchResponse.status().getStatus() == 200)
// 解析对象
List<Map<String, Object>> sourceList = setSearchResponse(searchResponse, highlightField);
return new EsPage(startPage, pageSize, (int) totalHits, sourceList);
return null;
/**
* 使用分词查询
*
* @param index 索引名称
* @param type 类型名称,可传入多个type逗号分隔
* @param query 查询条件
* @param size 文档大小限制
* @param fields 需要显示的字段，逗号分隔（缺省为全部字段）
* @param sortField 排序字段
* @param highlightField 高亮字段
* @return
*/
public static List<Map<String, Object>> searchListData(String index, String type, QueryBuilder query, Integer size, String fields, String sortField, String highlightField)
SearchRequestBuilder searchRequestBuilder = client.prepareSearch(index);
if (StringUtils.isNotEmpty(type))
searchRequestBuilder.setTypes(type.split(","));
if (StringUtils.isNotEmpty(highlightField))
HighlightBuilder highlightBuilder = new HighlightBuilder();
// 设置高亮字段
highlightBuilder.field(highlightField);
searchRequestBuilder.highlighter(highlightBuilder);
searchRequestBuilder.setQuery(query);
if (StringUtils.isNotEmpty(fields))
searchRequestBuilder.setFetchSource(fields.split(","), null);
searchRequestBuilder.setFetchSource(true);
if (StringUtils.isNotEmpty(sortField))
searchRequestBuilder.addSort(sortField, SortOrder.DESC);
if (size != null && size > 0)
searchRequestBuilder.setSize(size);
// 打印的内容 可以在 Elasticsearch head 和 Kibana 上执行查询
log.info("\\n", searchRequestBuilder);
SearchResponse searchResponse = searchRequestBuilder.execute().actionGet();
long totalHits = searchResponse.getHits().getTotalHits();
long length = searchResponse.getHits().getHits().length;
log.info("共查询到[]条数据,处理数据条数[]", totalHits, length);
if (searchResponse.status().getStatus() == 200)
// 解析对象
return setSearchResponse(searchResponse, highlightField);
return null;
/以上是关于数据地图搜索功能模块项目总结springBoot+Elasticsearch的主要内容，如果未能解决你的问题，请参考以下文章