如何使用 Google Natural Language API 丰富 Bigquery 表中的数据？

Posted 2023-03-25

【中文标题】如何使用 Google Natural Language API 丰富 Bigquery 表中的数据？

【英文标题】：How can I use Google Natural Language API to enrich data in a Bigquery table?

【发布时间】：2020-09-10 20:53:24

【问题描述】：

我想使用存储在 BigQuery 表中的数据作为 Google's Natural Language API 的输入，执行实体提取和情绪分析，并将结果持久化回 BigQuery。我可以在 GCP 中使用哪些工具/服务来处理这个问题？性能不是问题，对于这个用例来说，在一夜之间运行它是可以接受的。

【问题讨论】：

查看 Cloud Next '19 会议 Viant’s Journey:The Non-Engineer Guide to BigQuery (Cloud Next '19) - 特别是关于 BigQuery 中使用 Vision API 的 enriching image data 的一集。显然，可以以同样的方式使用任何 Rest API，包括自然语言 API。你可以找到更多的演示here

【参考方案1】：

这对 Dataflow 来说应该相当简单——您可以编写一个管道，其中 reads from BigQuery 后跟一个使用 Google's NLP Libraries 的 DoFn，然后是 writes the results to BigQuery。

https://github.com/apache/beam/blob/master/sdks/python/apache_beam/ml/gcp/naturallanguageml.py 中已经为您提供了一些包装器