外部工具连接SaaS模式云数仓MaxCompute—ETL工具篇

Posted 2021-09-05 阿里云开发者

简介：本文主要讲解开源ETL工具如何连接MaxCompute

直播视频请点击 直播 观看。

本次分享将从五个方面讲解。

01 走进MaxCompute生态

02 开源ETL工具

03 客户端简介

04 PyODPS简介

05 实操展示

一、走进MaxCompute生态

首先来看下 MaxCompute 产品能支持的外部工具，大概可以分为商业智能、开发管理、传输调度、编程接口。本次分享主要关注商业智能（BI）工具这一板块，可以看到 MaxCompute 官方集成有Tableau、FineReport、FineBI、Quick BI。其中Tableau、FineBI、FineReport是在特定的版本会内置 MaxCompute 驱动，如果需要通过JDBC连接 MaxCompute ，还是需要手动加载 MaxCompute JDBC驱动，Quick BI作为阿里云的产品，是可以通过阿里云账号和AK信息直接连接的，同时在8.6及以上版本的Yonghong Desktop也是可以通过内置驱动连接 MaxCompute。在商业智能部分还有开源BI工具，Superset、Davinci也可以连接 MaxCompute。

在开发管理部分，是我们第二讲的内容，包括DBeaver、DataGrip、SQL Workbench/J。

同时我们的产品还集成了 Kafka和Flink开源引擎。支持的ETL开源工具有Kettle、Airflow、Azkaban，这一部分是本次分享来介绍。支持的编程接口有Python、JDBC、SQLAlchemy。

除了支持的外部工具，MaxCompute 自身也有开放生态，包括内建开源引擎 Spark，迁移工具MMA，开发生态PyODPS、Mars，工具生态Web-Console等。同时 MaxCompute 也与阿里云内部产品共同构建了丰富的解决方案生态和数据应用生态。

二、开源ETL工具

主要介绍一下开源ETL工具通过哪些方式连接 MaxCompute 。开源ETL工具包含，Airflow、Azkaban、Kettle。

首先看下Airflow，Airflow是python编写的一款调度工具，内部有Python Operator和Bash Operator ， 等各种Operator。也支持自定义插件的开发，Airflow是通过command Operator控制MaxCompute客户端通过命令行的方式，提交SQL任务，对于Python SDK可以通过Python py文件这种方式提交，Java sdk可以通过java -jar方式提交。因为Airflow支持Python Operator，所以可以直接集成PyODPS，可以直接写Python代码。第二部分是Azkaban，Azkaban主要是通过command提交我们的任务，可以通过MaxCompute提供的编程接口提交SQL任务。Kettle可以通过JDBC直接连接MaxCompute。

三、MaxCompute CLI客户端简介

MaxCompute客户端支持运行在Linux/Mac/Window三个系统上。

安装

•JDK 1.8以上。

•已经创建MaxCompute项目，拥有该项目权限的账号

配置

•修改conf文件夹下的odps_config.ini文件

•填写ak、项目名、endpoint

使用

•Linux/Mac上执行bin目录下的odpscmd,windows执行bin目录下的odpscmd.bat

•支持执行单个sql语句，执行sql文件，上传资源，上传下载数据(Tunnel)、授权等操作

四、MaxCompute Python SDK（PyODPS）简介

安装

•PC客户端安装依赖于python环境，执行 pip install pyodps

•DataWorks内建PyODPS支持，通过新建PyOdps节点提交Python任务

PyODPS初始化

from odps import ODPS

o = ODPS('**your-access-id**', '**your-secret-access-key**', project='**your-project**', endpoint='**your-end-point**')

PyODPS接口

•表接口 ： o.get_table o.create_table

•Sql接口：o.run_sql(异步执行）o.execute_sql（同步执行）

•PyOdpsDataFrame：DataFrame(o.get_table)、o.get_table（).to_df()

•上传下载数据：create_upload_session() create_download_session()

五、实操展示

Airflow实操展示

请点击 视频 查看实操部分

Azkaban实操展示

请点击 视频 查看实操部分

Kettle实操展示

请点击 视频 查看实操部分

原文链接：https://developer.aliyun.com/article/786312?

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。