使用 Azure 数据块从 FileServer 上传到 Azure 存储容器
Posted
技术标签:
【中文标题】使用 Azure 数据块从 FileServer 上传到 Azure 存储容器【英文标题】：Upload to Azure Storage container from FileServer using Azure databricks 【发布时间】：2021-08-02 17:23:10 【问题描述】：我想将二进制文件从 Windows 文件系统上传到 Azure blob。我通过以下步骤使用 Azure 数据工厂实现了它
-
在文件系统上安装了集成运行时
在 ADF 中创建了一个链接服务作为文件系统
使用上述链接服务创建二进制数据集
在 ADF 管道中使用 CopyData 活动，将二进制数据集设置为源，将 Azure Blob 设置为接收器
上传后，我正在执行一些 ETL 活动。所以我的 ADF 管道有两个组件，
-
复制数据
Databricks 笔记本
我想知道是否可以将复制数据片段移动到 Databricks？ 我们可以使用 Azure Databricks 将二进制文件从 Windows 文件系统上传到 Azure blob 吗？
【问题讨论】：
【参考方案1】：我认为有可能，您可能需要更改网络 https://docs.microsoft.com/en-us/azure/databricks/administration-guide/cloud-configurations/azure/on-prem-network
【讨论】：
以上是关于使用 Azure 数据块从 FileServer 上传到 Azure 存储容器的主要内容，如果未能解决你的问题，请参考以下文章
在 Go 中使用 http.FileServer 禁用目录列表的好方法