BigQuery 与高吞吐量谷歌（学术）搜索的自定义搜索？

Posted 2023-03-25

【中文标题】BigQuery 与高吞吐量谷歌（学术）搜索的自定义搜索？

【英文标题】：BigQuery vs Custom Search for High-throughput Google (Scholar) Searches?

【发布时间】：2014-08-12 21:20:43

【问题描述】：

对于大约 30,000 个关键字的列表，我试图找出每个关键字存在多少 Google 搜索命中，类似于这个网站，但规模更大：http://azich.org/google/。

我是用python查询的，本来打算用pygoogle的。不幸的是，谷歌对免费帐户的搜索限制为每天约 100 次。我愿意使用付费服务，但我不确定哪个 Google 服务更有意义 - BigQuery 或自定义搜索。 Bigquery 似乎是针对一组提供的数据进行搜索，而自定义搜索似乎是针对互联网的一小部分“片段”的网站搜索解决方案。

有人会向我推荐可以让我执行上述任务的适当服务吗？它不需要是免费服务——我愿意付费。

如果可能，还有两件事：我希望搜索来自 Google Scholar，但这不是必需的。其次，我想保存首页中的文本，例如每个搜索结果中的简介，以对首页结果进行文本挖掘。

【参考方案1】：

BigQuery 不是以任何方式与 Google 搜索交互的工具。 BigQuery 是一种工具，可让您提供数据，然后对这些数据运行分析查询。但您需要先摄取数据。