py-elasticsearch的stream_bulk、parallel_bulk、bulk性能对比

Posted 2023-05-06

参考技术A 最近的爬虫项目里涉及往ES中大量写入数据，因此做了一些调研。
总而言之，py-elasticsearch库推荐使用helper.bulk相关函数进行批量写入（实际是批量执行，不仅限于写入），而bulk有三个相关函数：

官方文档： https://elasticsearch-py.readthedocs.io/en/master/helpers.html#example

结论：如果对写入耗时要求不高，用bulk()即可；如果需要判断每一条写入的返回状态，用streaming_bulk()；追求速度的话，用parallel_bulk()。

物质的运动

2019/12/11

没有东西可以无限大，也没有东西可以无限小。
所有的一切都是随机的、不确定的，
是具体环境和特定规则做出了平衡的选择。

回眸的微笑，低首的沉思，
一人的独酌，群体的狂欢。
进化的生物，突变的基因，
巍峨的高山，奔流的江河。
交融的文明，野蛮的劫掠。
变幻的风云，沉浮的日月......
浩瀚无垠的星空，概率运动的微粒。

---

运动是绝对的，跨越时间和空间。
一是位置的转移，
二是状态的变化。

春花烂漫，秋叶飘零。
流水激石，雨露霜冰。

---

任何事物都不是单独存在的，
而是和其所在的具体环境作为整体而存在。
一棵树，
不仅和周围的环境、气候、地理位置、存在的生物等有关，
还与其它生物看待它的时间、角度、感觉、心情、思维活动等有关。
正所谓众生万象。
万物都是相对的，
没有最高的山，只有更高的山和更矮的山。
两个极端同生共存，一损俱亡。

强弱大小，善恶美丑。
长短高低，黑白良莠。

---

运动将整个物质世界联系起来，
信息和能量都是物质不同的运动形态。
物质的分解重构，
能量的流动循环，
信息的传递变化，
形成各种各样的环境、气候、水文地理，
和千奇百怪的生物和非生物。
这些物质之间又通过反馈、循环、相互作用，相互影响
而形成更加复杂平衡的系统。

---

真实的世界复杂多变，
而我们看到的世界都是经过简化处理过的模型，
自动去除了无关紧要的因素，
只保留了当前对我们来说更重要的物质和信息。