dss_linkis(dataspherestudio-1.1.1linkis-1.1.1)拓展工具安装——数据交换工具Exchangis
Posted 省略号的搬运工
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了dss_linkis(dataspherestudio-1.1.1linkis-1.1.1)拓展工具安装——数据交换工具Exchangis相关的知识,希望对你有一定的参考价值。
目录
二 数据交换工具Exchangeis安装
2.1依赖的环境
我的安装环境如下,与官网给出的相差一点点
DataSphere Studio1.1.1
Linkis1.1.1
JDK8
Hadoop2.8.5
hive2.4.3
sqoop1.4.7
mysql8(官网需要MySQL≥5.5)
2.2 准备工作
保持Exchangis的部署用户与Linkis的一致,我的都为root
为Exchangis添加数据源认证的token:
INSERT INTO `linkis_mg_gateway_auth_token`(`token_name`,`legal_users`,`legal_hosts`,`business_owner`,`create_time`,`update_time`,`elapse_day`,`update_by`) VALUES ('EXCHANGIS-AUTH','*','*','BDP',curdate(),curdate(),-1,'LINKIS');
通过在linkis数据库中执行以下sql语句,插入hive数据源环境配置,注意,执行前需要修改语句中的$HIVE_METADATA_IP和$HIVE_METADATA_PORT,例如$HIVE_METADATA_IP=127.0.0.1,$HIVE_METADATA_PORT=3306:
INSERT INTO `linkis_ps_dm_datasource_env` (`env_name`, `env_desc`, `datasource_type_id`, `parameter`, `create_time`, `create_user`, `modify_time`, `modify_user`) VALUES ('开发环境SIT', '开发环境SIT', 4, '"uris":"thrift://$HIVE_METADATA_IP:$HIVE_METADATA_PORT", "hadoopConf":"hive.metastore.execute.setugi":"true"', now(), NULL, now(), NULL);
INSERT INTO `linkis_ps_dm_datasource_env` (`env_name`, `env_desc`, `datasource_type_id`, `parameter`, `create_time`, `create_user`, `modify_time`, `modify_user`) VALUES ('开发环境UAT', '开发环境UAT', 4, '"uris":"thrift://$HIVE_METADATA_IP:$HIVE_METADATA_PORT", "hadoopConf":"hive.metastore.execute.setugi":"true"', now(), NULL, now(), NULL);
2.3 Exchangis安装
Exchangis后端安装
下载安装包
(Release Exchangis 1.0.0 Release Notes · WeBankFinTech/Exchangis · GitHub)
将安装传至服务器后创建目录mkdir /usr/Exchangis-1.0.0
将安装包移至目录下,解压安装 tar -zxvf
解压后的目录结构如下:
|-- config:一键安装部署参数配置目录
|-- db:数据库表初始化 SQL 目录
|-- Exchangis-extds
|-- packages:Exchangis 安装包目录
|-- sbin:脚本存放目录
编辑config下的config.sh
编辑db.sh用于安装脚本创建信息表
sh Exchangis-1.0.0/sbin/install.sh进入交互式安装
首次安装时选初始化数据表
sh daemon.sh start server后会显示Eureka地址
进入Eureka可以看到exchangeis服务已开始运行
Exchangis前端安装
可以选择下载编译好的安装包(https://osp-1257653870.cos.ap-guangzhou.myqcloud.com/WeDatasphere/Exchangis/Exchangis1.0.0/dist.zip)
也可以自行编译在根目录下执行
cd web
npm i
npm run build
从/web获取编译好的dist.zip前端包
建议将前端包放在后端同一目录下解压,注意,在安装dss的机器上安装Exchangis前端
unzip
修改nginx/Exchangis.conf配置文件
vi /etc/nginx/conf.d/Exchangis.conf
niginx -s reload 刷新nginx
2.4 ExchangisAppConn安装
在部署ExchangisAppConn之前,请安装完成Exchangis1.0.0及其他相关组件的安装,并确保工程基本功能可用。
或者自行编译打包
cd EXCHANGIS_CODE_HOME/Exchangis-plugins/Exchangis-appconn
mvn clean install
自行编译会在该路径下找到Exchangis-appconn.zip安装包:
EXCHANGIS_CODE_HOME/Exchangis-plugins/Exchangis-appconn/target/Exchangis-appconn.zip
将zip移至dss/dss-appconn下解压
进入目录dss/bin
sh appconn-install.sh进入交互式安装
需要输入字符串Exchangis以及Exchangis服务的ip和前端端口,注意不要输错
若安装时输入的不是Exchangis前端端口,虽然也会安装成功但dss创建项目时会报错:
com.webank.wedatasphere.dss.framework.project.exception.DSSProjectErrorException: errCode: 71000 ,desc: 向第三方应用发起检查工程名是否重复失败,原因:IllegalStateException: Expected BEGIN_OBJECT but was STRING at line 1 column 1 path $
在dss工作空间创建项目,Exchangis同时出现项目即为下载成功
以上是关于dss_linkis(dataspherestudio-1.1.1linkis-1.1.1)拓展工具安装——数据交换工具Exchangis的主要内容,如果未能解决你的问题,请参考以下文章