将数据从 Google 永久磁盘加载到 BigQuery?
Posted
技术标签:
【中文标题】将数据从 Google 永久磁盘加载到 BigQuery?【英文标题】:Loading data from a Google Persistent Disk into BigQuery? 【发布时间】:2016-06-11 07:04:55 【问题描述】:将数据加载到当前位于 Google 永久磁盘中的 BigQuery 的推荐方法是什么?是否有针对此特定用例的特殊工具或最佳实践?
【问题讨论】:
【参考方案1】:复制到 GCS(谷歌云存储),将 BigQuery 指向从 GCS 加载。
永久性磁盘和 BigQuery 之间目前没有直接连接。您可以使用 bq CLI 将数据直接发送到 BigQuery,但如果您需要重试,一切都会变慢。
【讨论】:
以上是关于将数据从 Google 永久磁盘加载到 BigQuery?的主要内容,如果未能解决你的问题,请参考以下文章
在 Google Cloud Platform 中将永久性磁盘挂载到 /home
将文件从 Google Drive 加载到 Bigquery
使用 spark 将 parquet 数据从 Google 云存储加载到 BigQuery