将数据从 BigQuery 导入 SQL Server [关闭]
Posted
技术标签:
【中文标题】将数据从 BigQuery 导入 SQL Server [关闭]【英文标题】：Import Data from BigQuery to SQL Server [closed] 【发布时间】：2018-05-18 03:03:17 【问题描述】：我需要将数据从 Google BigQuery 提取到 SQL Server。用于提取的数据集有许多列和行。 SSIS 中是否有任何大型查询连接器可用？
【问题讨论】：
【参考方案1】：你也可以使用python包pandas:
To read from BQ:
pandas.DataFrame.read_gbq(query, project_id=None, index_col=None, col_order=None, reauth=False, verbose=None, private_key=None, dialect='legacy', **kwargs)
Send to SQL:
pandas.DataFrame.to_sql(name, con, schema=None, if_exists='fail', index=True, index_label=None, chunksize=None, dtype=None)
另一种方式是使用Simba ODBC Driver for BiqQuery
【讨论】：
【参考方案2】：据我了解，微软没有提供通过 SSIS 将 Google BigQuery 提取到 SQL Server 的内置解决方案。但是有很多第三方扩展/工具可以提供这项服务。我没用过，所以不能推荐，但是快速的谷歌搜索会提供一堆你可以使用的扩展/工具：
Connect google bigquery to SQL Server with SSIS
我在许多 Microsoft 博客论坛帖子中看到的一个常见问题是 CDATA： SSIS Data Flow Source & Destination for Google BigQuery
它是通过 SSIS 工作流将 SQL Server 与实时 Google BigQuery 数据连接起来的 Visual Studio 扩展。供参考。市场链接用于扩展的试用版。
【讨论】：
以上是关于将数据从 BigQuery 导入 SQL Server [关闭]的主要内容，如果未能解决你的问题，请参考以下文章
我们如何将大型数据集从 Google BigQuery 导入 R？
我们可以将 BigQuery 中的数据导入 Google 表格吗？
Google 数据准备 - 无法从 BigQuery 导入表（从 Google 表格创建）“未找到”