Flume+Morphline+Solr+Hue实时索引调试及问题定位

Posted 2020-08-23 Code Job

Technorati Tags: Solr,Hue,Flume,Morphline,大数据

1.Flume和Morphline添加日志打印

log4j.logger.org.apache.flume.sink.solr=DEBUG
log4j.logger.org.kitesdk.morphline=TRACE

2.在线更新solr collection配置

$ solrctl instancedir --update url_analysis_records url_analysis_configs/
$ solrctl collection --reload url_analysis_records

3.删除solr已经有的index文件

<delete><query>*:*</query></delete>
<commit/>

 

Hue3.10 search(solr)最近调试发现的已知问题:

1.对动态索引不太能识别，尤其是对中文。

2.timeline功能会导致gc时间过长。

3.对中国时区支持不够，选择时间的字段慢8个小时，timeline快8个小时。因此需要专门指定一个Solr索引字段存UTC时间才能正常使用Hue功能。