如何在外部源和 azure 突触分析之间传输数据

Posted 2023-03-25

【中文标题】如何在外部源和 azure 突触分析之间传输数据

【英文标题】：How to data transfer between external source and azure synapse analytics

【发布时间】：2021-12-02 18:21:42

【问题描述】：

我将从外部来源（例如 crm 来源）获取数据，然后将此数据作为表格发送到 azure synapse analytics，然后我将使用 Python 进行 ETL。但是我分析了很多网站，但我没有找到好的信息，所以怎么做呢？

【问题讨论】：

标准方法是先将其放入数据湖中，然后 Synapse 非常容易访问，无论是通过外部表、Synapse 管道还是 Synapse 笔记本。

【参考方案1】：

如果我们有任何类型的 Synapse SQL 外部表数据，您可以使用外部表通过专用 SQL 池或无服务器 SQL 池读取外部数据。

此外，根据数据源，将有两种类型的流程。

Hadoop 和 Native 外部表是两种用于实现数据传输过程的类型。

我们可以调查微软Documentation的详细解释。

我们有 Python Libraries 用于 Azure Synapse Analytics 中的 Apache Spark。

可以通过提供环境规范文件从 PyPI 和 Conda-Forge 等存储库安装 Python 包。

我们有一个 databrick python 活动

    "activity": 
        "name": "MyActivity",
        "description": "MyActivity description",
        "type": "DatabricksSparkPython",
        "linkedServiceName": 
            "referenceName": "MyDatabricksLinkedService",
            "type": "LinkedServiceReference"
        ,
        "typeProperties": 
            "pythonFile": "dbfs:/docs/pi.py",
            "parameters": [
                "10"
            ],
            "libraries": [
                
                    "pypi": 
                        "package": "tensorflow"
                    
                
            ]
        
    

此article 以数据转换活动为基础，提供数据转换和支持的转换活动的一般概述。