将数据从数据库移动到 Azure Blob 存储

Posted 2023-03-11

【中文标题】将数据从数据库移动到 Azure Blob 存储

【英文标题】：Moving data from a database to Azure blob storage

【发布时间】：2020-07-01 01:39:56

【问题描述】：

我可以使用dask.dataframe.read_sql_table 来读取数据，例如df = dd.read_sql_table(table='TABLE', uri=uri, index_col='field', npartitions=N)

在 Azure blob 存储中将其保存为 parquet 文件的下一个（最佳）步骤是什么？

根据我的小型研究，有两种选择：

在本地保存并使用https://docs.microsoft.com/en-us/azure/storage/common/storage-use-azcopy-blobs?toc=/azure/storage/blobs/toc.json（不适合大数据） 我相信adlfs是从blob读取的 使用 dask.dataframe.to_parquet 并找出如何指向 blob 容器 intake 项目（不知道从哪里开始）

【参考方案1】：

$ pip install adlfs

dd.to_parquet(
    df=df, 
    path='absf://BLOB/FILE_NAME.parquet', 
    storage_options='account_name': 'ACCOUNT_NAME',
                     'account_key': 'ACCOUNT_KEY',
    )

【讨论】：

这行得通吗？如果是，请接受您自己的答案。