IDEA with MaxCompute Stadio

Posted 2020-10-05 fous数据实验室

MaxCompute Studio是阿里云MaxCompute（原ODPS）平台提供的安装在开发者客户端的大数据集成开发环境（IDE）工具，是一套基于流行的集成开发平台 IntelliJ IDEA 的开发插件，帮助用户方便地进行数据开发。ODPS客户端是一个命令行工具，通过它可以访问MaxCompute的各项功能。

开发环境配置

1）安装JDK，IDEA

2）安装ODPS命令行工具

官网下载：http://repo.aliyun.com/odpscmd/

下载后解压到不带空格目录，否则报错，建议解压到根目录，如：D:\\odpscmd_public，解压后由四个文件夹：

 bin/  conf/  lib/  plugins/

配置conf文件夹下odps_config.ini文件：

 project_name=
 access_id=<accessid>
 access_key=<accesskey>
 end_point=http://sg-service-maxcompute.aliyun.com/api

获取ID、KEY：用户详情，其中的access_id和access_key为www.aliyun.com上申请的access_id和access_key

链接信息：项目管理->数据源配置（endpoint、项目名称）

3）安装MaxCompute Studio插件

官方文档：https://help.aliyun.com/document_detail/50892.html

可以在IDEA在线安装插件，网络不好可下载插件安装，插件地址：https://plugins.jetbrains.com/plugin/9193-maxcompute-studio

4）创建MaxCompute Studio项目

在Settings中MaxCompute Studio项设置local meta store location，存储本地元数据信息。

官方文档：https://help.aliyun.com/document_detail/50855.html

创建连接：

 直接使用刚才配置的odps_config.ini文件，自动填充信息。

5）调试开发

到此为止环境搭建完成，可以使用ODPS套件开发项目，常用参考文档：

开发调试UDF：https://help.aliyun.com/document_detail/50902.html
开发调试MR：https://help.aliyun.com/document_detail/50903.html
打包/上传/注册/调用：https://help.aliyun.com/document_detail/50904.html

Tips：

开发SQL脚本，表必须先创建再操作，否则报错‘xxxxx cannot be resolved’.

 

~完~