我可以在 Raspberry Pi 上运行 Apache Drill 并发现查询计划的物理成本吗？

Posted 2023-04-18

【中文标题】我可以在 Raspberry Pi 上运行 Apache Drill 并发现查询计划的物理成本吗？

【英文标题】：Can I run Apache Drill on Raspberry Pi's and discover the physical cost of a query plan?

【发布时间】：2018-12-06 14:36:22

【问题描述】：

我观看了有关 Apache Drill (https://www.youtube.com/watch?time_continue=14&v=0rurIzOkTIg) 的视频，它说我可以在集群的节点上安装 DrillBit，并且 Drill 引擎将评估执行查询的最佳物理计划。然后我可以运行explain plan 进行查询（https://drill.apache.org/docs/query-plans/），我将看到钻头决定在哪里处理内存中的数据局部性以及其他成本决定。这是我正在阅读的另一个参考资料 (Apache Drill vs Spark)。

我还看到 Drill 有一个文件系统插件。所以我想我可以在 3 台计算机上安装 Drill 并在它们上面查询日志文件。

我想知道是否可以在具有多种连接（有线、无线、无线电……）的 Raspberry Pi 上安装 Drill，并对位于这些 Pi 上的日志文件执行查询。这也是Drill的目的吗？

【参考方案1】：

Drill 确实可以从不同的存储中查询日志文件，但我不确定 Raspberry Pi 的规格是否符合 Drill 资源要求：

Drillbit 的默认内存是 8G，但根据工作负载，Drill 更喜欢 16G 或更多

https://drill.apache.org/docs/configuring-drill-memory/

无论如何，可以在内存量较小的机器上运行drillbit，但不足以处理大数据集。