elasticsearch使用BulkProcessor批量入库数据
Posted allen-rg
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了elasticsearch使用BulkProcessor批量入库数据相关的知识，希望对你有一定的参考价值。
在解决es入库问题上，之前使用过rest方式，经过一段时间的测试发现千万级别的数据会存在10至上百条数据的丢失问题，
在需要保证数据的准确性的场景下，rest方式并不能保证结果的准确性，因此采用了elasticsearch的BulkProcessor方式来进行数据入库，
实际上采用es客户端不同，rest方式采用的是restClient，基于http协议，BulkProcessor使用的是TransportClient，基于Tcp协议。
原文链接：https://blog.csdn.net/wslyk606/article/details/79413980
以上是关于elasticsearch使用BulkProcessor批量入库数据的主要内容，如果未能解决你的问题，请参考以下文章
Elasticsearch：使用 Python elasticsearch-dsl-py 库对 Elasticsearch 进行查询
python使用elasticsearch模块操作elasticsearch
Elasticsearch：如何使用 shell 脚本来写入数据到 Elasticsearch 中
Elasticsearch数据迁移--elasticdump