使用适度资源对谷歌图书 n-gram 数据集进行处理的最可行选项是啥？

Posted 2023-04-17

【中文标题】使用适度资源对谷歌图书 n-gram 数据集进行处理的最可行选项是啥？

【英文标题】：What are the most feasible options to do processing on google books n-gram dataset using modest resources?使用适度资源对谷歌图书 n-gram 数据集进行处理的最可行选项是什么？

【发布时间】：2013-03-06 14:09:09

【问题描述】：

我需要从谷歌书籍的 n-gram 语料库中为每个目标词计算大约 10,000 个目标词和几百个上下文词的词共现统计数据

以下是完整数据集的链接：

Google Ngram Viewer

显然，数据库大约为 2.2TB，包含数千亿行。为了计算单词共现统计，我需要为每对可能的目标词和上下文词处理整个数据。我目前正在考虑将 Hadoop 与 Hive 一起使用来批量处理数据。考虑到这是一个学期时间限制和计算资源有限的学术项目，还有哪些其他可行的选择。

请注意，不需要实时查询数据

【问题讨论】：

某种形式的 MapReduce 似乎是正确的方法。

lintool.github.com/MapReduceAlgorithms/MapReduce-book-final.pdf 应该很有用

【参考方案1】：

Hive 有一个用于处理 ngram 的内置 UDF https://cwiki.apache.org/Hive/statisticsanddatamining.html#StatisticsAndDataMining-ngrams%2528%2529andcontextngrams%2528%2529%253ANgramfrequencyestimation

【讨论】：

我想这将涉及编写大量查询