将日志插入 BigQuery 表的 Bash 脚本

Posted 2023-03-25

【中文标题】将日志插入 BigQuery 表的 Bash 脚本

【英文标题】：Bash script to insert log into BigQuery table

【发布时间】：2019-03-20 18:59:30

【问题描述】：

我使用 Matillion 作为我的 etl 工具，我正在尝试公开包/作业的日志文件并将它们转储到 BigQuery 表中。我希望使用 Bash 脚本组件来帮助我完成这项工作。

所以在作业中实现我自己的日志，如下所示

echo “$(date) Starting” >> /tmp/logfile.log

我想把它插入我的表 $tablename

谢谢

【问题讨论】：

你能用bq insert吗？请参阅command line reference。请注意，流式传输每 200 MB 插入的成本为 0.01 美元。

【参考方案1】：

您可以在 Bash 脚本中将 tmp 文件复制/移动到 GCS，并在作业结束时使用 GCS Load。

【参考方案2】：

我认为 Matillion 中的 BigQuery 组件可能会对您有所帮助。 虽然在您可以在 Matillion 和 GCP 之间进行握手之前涉及一些配置（我假设您正在使用 Matillion 作为雪花或 Redshift）Here is the configuration part