SnappyData 上的 Theta Sketch (Yahoo)

Posted 2023-04-17

【中文标题】SnappyData 上的 Theta Sketch (Yahoo)

【英文标题】：Theta Sketch (Yahoo) on SnappyData

【发布时间】：2018-05-11 10:27:35

【问题描述】：

如何将 Theta Sketch (Yahoo) 存储在 SnappyData 的表上而不是写入文件？因为我每天都会生成数十亿张草图，并且需要在线保存数百万张草图以进行实时查询。谁能帮我？谢谢。

【参考方案1】：

您不能将这些存储在具有 blob 数据类型的列中吗？ 如果从 spark 程序中写出并在 DF 中管理草图，我认为 df.write.format(“column”).saveAsTable 应该可以工作。

否则，使用 sql 序列化 (sketch.compact().toByteArray()) 并存储在 blob 列中。