如何在 SOLR DIH HTTP API 中强制中止数据导入

Posted

技术标签:

【中文标题】如何在 SOLR DIH HTTP API 中强制中止数据导入【英文标题】:How to forcefully abort data import in SOLR DIH HTTP API 【发布时间】:2014-08-20 14:27:54 【问题描述】:

按照步骤生成错误:

1. Configure the large amount of data (around 4 GB or more than 50 millions of records)
2. Give proper data-config.xml file for indexing the data from remote database server.
3. During indexing the data into solr from SQL SERVER 2010, at the half way unplug the     
   network cable and see the status in solr. e.g.
   localhost:8083/solr/core1/dataimport?command=status
   or
   localhost:8083/solr/core1/dataimport
4. Pass few seconds then again plug back the cable.
5. You can clearly see that there is just only "Time Elapsed" parameter increase.      
   "Total Rows Fetched" & "Total Documents Processed" remains same for infinite time.
6. You can regenerate this for small data also.
7. Work around is you need to restart the solr. (But this is not good solution) 

注意:这是非常重要的问题,因为很多组织没有使用这个有价值的 产品只是因为这个数据库无限连接问题。解决方案可以是: 强制中止数据索引或提供强制机制 中止索引。希望你们知道 abort 命令也不是 工作。

【问题讨论】:

【参考方案1】:

来自 Solr 文档 (http://wiki.apache.org/solr/DataImportHandler)

通过点击 URL 中止正在进行的操作 http://:/solr/dataimport?command=abort 。

我刚刚检查了DIH的源代码并实现了中止命令

【讨论】:

有效:sorlurl/solr/corename/dataimport?command=abort

以上是关于如何在 SOLR DIH HTTP API 中强制中止数据导入的主要内容,如果未能解决你的问题,请参考以下文章

Solr DIH dataConfig参数XXE漏洞

10.Solr4.10.3数据导入(DIH全量增量同步Mysql数据)

调整DIH Apache Solr

solr的DIH操作同步mysql数据

Solr Centos6.5下搭建solr-7.7.2集群solrcloud+DIH操作

Apache Solr 远程命令执行漏洞(CVE-2019-0193)