托管 BigQuery 实例

Posted

技术标签:

【中文标题】托管 BigQuery 实例【英文标题】:hosted BigQuery instance 【发布时间】:2012-10-29 14:11:55 【问题描述】:

有什么方法可以在我的公司服务器上托管大型查询软件? 该公司不希望数据位于自己的数据中心以外的任何其他地方。

什么是 BigQuery 替代方案? (云和托管)

【问题讨论】:

见底页:pentahobigdata.com/ecosystem/platforms/hadoop 【参考方案1】:

有什么方法可以在我的公司服务器上托管大型查询软件?

Google Big Query 是Google Dremel Paper 的实现,但作为服务提供,不能作为软件安装在本地。

什么是大查询替代方案? (云和托管)

Apache Drill 是上述 Dremel 的实现,但刚刚开始,可能需要一些时间才能实现。

Cloudera 最近发布了 Imapala,用于在 Hadoop 上进行实时查询。查看blog了解更多详情。

有兴趣了解大数据实时查询的其他替代方案。

编辑:这是来自InfoWorld 的一篇有趣的文章。

【讨论】:

【参考方案2】:

Hive 和 Pig 是构建可查询系统的两种常见解决方案,但由于您提到了 Google 的 Big Query,我假设您指的是实时查询。

除了 Praveen 提到的实时解决方案之外,还有一些变通方法可以通过以标准化方式编写冗余存储来加快其他面向列的解决方案。可以这样想:您可以“预先加入”列族中的数据,只要您了解您是在用快速访问来换取过多的数据量和较慢的插入速度。

-t.

【讨论】:

以上是关于托管 BigQuery 实例的主要内容,如果未能解决你的问题,请参考以下文章

如何使用 Bigquery 连接 GCP SQL 实例?

BigQuery Web UI:显示存储过程的结果需要哪些权限?

Google BigQuery:性能(详细)

时间段之间的 BigQuery 计数实例分组依据

在 BigQuery 中将大量数据从美国数据集迁移到欧盟数据集的最佳方法?

Pandas/BigQuery - TypeError:“str”和“int”实例之间不支持“<”