将文件从 Google Cloud 自动上传到 Big Query

Posted 2023-03-24

【中文标题】将文件从 Google Cloud 自动上传到 Big Query

【英文标题】：Uploading files automatically from Google Cloud to Big Query

【发布时间】：2015-07-08 02:03:00

【问题描述】：

如何自动将 .CSV 文件从 Google Cloud 上传到 Big Query。

【问题讨论】：

你应该在你的问题中添加你到目前为止所尝试的内容。

【参考方案1】：

Google Cloud Storage 提供 CSV 格式的access and storage log files，可以直接导入 BigQuery 进行分析。要访问这些日志，您必须set up log delivery and enable logging。存储访问日志和storage bucket data 的模式都以 JSON 格式在线提供。更多信息请访问Cloud Storage access logs and storage data documentation。

要从命令行将存储和访问日志加载到 BigQuery 中，请使用以下命令：

bq load --schema=cloud_storage_usage_schema.json my_dataset.usage_2012_06_18_v0 gs://my_logs/bucket_usage_2012_06_18_14_v0

【讨论】：

感谢 Pentium10。但是有没有办法自动将 .CSV 数据集从云存储上传到 BigQuery。请告诉我。将不胜感激

@badarinarayan 您需要创建某种脚本来运行导入。

你的意思是创建一个appscript @Pentium10

查看BigQuery Client Libraries 帽子，您可以使用它来访问不同语言的 Google BigQuery API。

谢谢@Pentium10，非常感谢你。请保持联系。