如何在 PyCharm 的 pandas 数据框中从 BigQuery 读取数据

Posted

技术标签:

【中文标题】如何在 PyCharm 的 pandas 数据框中从 BigQuery 读取数据【英文标题】:How to read data from BigQuery in pandas dataframe in PyCharm 【发布时间】:2021-12-09 03:05:22 【问题描述】:

我正在 python-flask API 中实现一个新的端点,它应该从 BigQuery 获取数据并将其发送到 CloudSQL(mysql)。为此,我假设首先需要建立与 BigQuery 的连接。但是我是云服务的新手,我需要帮助...在此先感谢!

【问题讨论】:

【参考方案1】:

[1] 如果您还没有服务帐户,则需要先创建它。这篇文章可能会有所帮助:https://docs.openbridge.com/en/articles/1856793-how-to-set-up-google-bigquery-creating-and-configuring-service-accounts-in-google-cloud-console

[2] 完成 [1] 后,您可以使用 BigQuery 客户端 API 从您的 BigQuery 项目中读取数据。

阅读此文档以获取有关使用 BigQuery 客户端 API 的更完整说明:https://cloud.google.com/bigquery/docs/bigquery-storage-python-pandas#download_table_data_using_the_client_library

【讨论】:

以上是关于如何在 PyCharm 的 pandas 数据框中从 BigQuery 读取数据的主要内容,如果未能解决你的问题,请参考以下文章

pandas:如何将列表存储在数据框中? [复制]

Pandas:如何在数据透视表数据框中仅添加最新日期

如何检索 Pandas 数据框中的列数?

如何在 Pandas 数据框中按列值分组

在 Pandas 数据框中查找唯一值,无论行或列位置如何

如何从 imdb 获取更多信息并将其保存在 pandas 数据框中? [复制]