python读取mysql数据写入ES总结
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了python读取mysql数据写入ES总结相关的知识，希望对你有一定的参考价值。
参考技术A 准备工作： mysql库的安装。
python中mysql库用的是mysql-connector，安装执行如下命令：
第一步： 连接mysql，读取数据。
通过执行sql语句，读取mysql数据。
至此，获得mysql的原始数据raw_data 。接下来对数据进行预处理，按日期进行分组聚合，然后重命名行和列名，得到dataFrame格式的数据。
第二步： 连接ES。
这步没有太多的可解释的地方，就是配置信息。
第三步： ES主键加密。
这步的目的是为了保持主键唯一性，防止重复写入。用的方法是md5加密。
第四步： 写入ES
至此，一切的准备工作都做好了，数据也有了，主键加密也做了，就开始写入了。
用main方法执行以上方法：
最后查看一下ES写的是否成功，用查询方法
如果返回以下信息，说明ES里成功插入了数据。
另外，ES删除索引的操作：
以上是关于python读取mysql数据写入ES总结的主要内容，如果未能解决你的问题，请参考以下文章