使用presto的kafka连接器时presto在哪里存储kafka数据
Posted
技术标签:
【中文标题】使用presto的kafka连接器时presto在哪里存储kafka数据【英文标题】：Where does presto store kafka data when using presto's kafka connector 【发布时间】：2019-12-30 14:05:30 【问题描述】：我正在搜索关于 presto 的 kafka 连接器的文档，其中提到了更多关于内部以及连接器是如何实现的，例如，是否将来自 kafka 的数据 presto 存储在内存中或以某种格式保存到磁盘。
官方文档仅包含分步指南 https://prestodb.io/docs/current/connector/kafka-tutorial.html
有人有文档吗？
【问题讨论】：
【参考方案1】：没有记录内部实现。
关于持久性 - 连接器不存储任何内容，并且每次运行查询时都会完整读取 Kafka 主题（除非存在允许限制读取的查询谓词）。
如果您对 Presto 中的实现方式有更多疑问，我可以推荐 Presto Community slack 上的 #dev 频道。
【讨论】：
消费者组偏移量呢？ 完整我会假设从最早读取偏移量，并将数据存储在内存中以上是关于使用presto的kafka连接器时presto在哪里存储kafka数据的主要内容，如果未能解决你的问题，请参考以下文章