dss_linkis(dataspherestudio-1.1.1linkis-1.1.1)拓展工具安装——数据交换工具Exchangis

Posted 省略号的搬运工

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了dss_linkis(dataspherestudio-1.1.1linkis-1.1.1)拓展工具安装——数据交换工具Exchangis相关的知识,希望对你有一定的参考价值。

目录

二  数据交换工具Exchangeis安装

2.1依赖的环境

2.2 准备工作

2.3 Exchangis安装

2.4  ExchangisAppConn安装


二  数据交换工具Exchangeis安装

2.1依赖的环境

我的安装环境如下,与官网给出的相差一点点

DataSphere Studio1.1.1

Linkis1.1.1

JDK8

Hadoop2.8.5

hive2.4.3

sqoop1.4.7

mysql8(官网需要MySQL≥5.5)

2.2 准备工作

保持Exchangis的部署用户与Linkis的一致,我的都为root

为Exchangis添加数据源认证的token:

INSERT INTO `linkis_mg_gateway_auth_token`(`token_name`,`legal_users`,`legal_hosts`,`business_owner`,`create_time`,`update_time`,`elapse_day`,`update_by`) VALUES ('EXCHANGIS-AUTH','*','*','BDP',curdate(),curdate(),-1,'LINKIS');

通过在linkis数据库中执行以下sql语句,插入hive数据源环境配置,注意,执行前需要修改语句中的$HIVE_METADATA_IP和$HIVE_METADATA_PORT,例如$HIVE_METADATA_IP=127.0.0.1,$HIVE_METADATA_PORT=3306:

INSERT INTO `linkis_ps_dm_datasource_env` (`env_name`, `env_desc`, `datasource_type_id`, `parameter`, `create_time`, `create_user`, `modify_time`, `modify_user`) VALUES ('开发环境SIT', '开发环境SIT', 4, '"uris":"thrift://$HIVE_METADATA_IP:$HIVE_METADATA_PORT", "hadoopConf":"hive.metastore.execute.setugi":"true"',  now(), NULL,  now(), NULL);

INSERT INTO `linkis_ps_dm_datasource_env` (`env_name`, `env_desc`, `datasource_type_id`, `parameter`, `create_time`, `create_user`, `modify_time`, `modify_user`) VALUES ('开发环境UAT', '开发环境UAT', 4, '"uris":"thrift://$HIVE_METADATA_IP:$HIVE_METADATA_PORT", "hadoopConf":"hive.metastore.execute.setugi":"true"',  now(), NULL,  now(), NULL);

2.3 Exchangis安装

Exchangis后端安装

下载安装包

Release Exchangis 1.0.0 Release Notes · WeBankFinTech/Exchangis · GitHub

将安装传至服务器后创建目录mkdir /usr/Exchangis-1.0.0

将安装包移至目录下,解压安装 tar -zxvf

解压后的目录结构如下:

|-- config:一键安装部署参数配置目录

|-- db:数据库表初始化 SQL 目录

|-- Exchangis-extds

|-- packagesExchangis 安装包目录

|-- sbin:脚本存放目录

编辑config下的config.sh

编辑db.sh用于安装脚本创建信息表

sh Exchangis-1.0.0/sbin/install.sh进入交互式安装

首次安装时选初始化数据表

sh daemon.sh start server后会显示Eureka地址

进入Eureka可以看到exchangeis服务已开始运行

Exchangis前端安装

可以选择下载编译好的安装包(https://osp-1257653870.cos.ap-guangzhou.myqcloud.com/WeDatasphere/Exchangis/Exchangis1.0.0/dist.zip

也可以自行编译在根目录下执行

cd web

npm i

npm run build

从/web获取编译好的dist.zip前端包

建议将前端包放在后端同一目录下解压,注意,在安装dss的机器上安装Exchangis前端

unzip

修改nginx/Exchangis.conf配置文件

vi /etc/nginx/conf.d/Exchangis.conf

niginx -s reload 刷新nginx

2.4  ExchangisAppConn安装

在部署ExchangisAppConn之前,请安装完成Exchangis1.0.0及其他相关组件的安装,并确保工程基本功能可用。

可以直接下载安装包(https://osp-1257653870.cos.ap-guangzhou.myqcloud.com/WeDatasphere/Exchangis/Exchangis1.0.0/Exchangis-appconn.zip

或者自行编译打包

cd EXCHANGIS_CODE_HOME/Exchangis-plugins/Exchangis-appconn

mvn clean install

自行编译会在该路径下找到Exchangis-appconn.zip安装包:

EXCHANGIS_CODE_HOME/Exchangis-plugins/Exchangis-appconn/target/Exchangis-appconn.zip

zip移至dss/dss-appconn下解压

进入目录dss/bin

sh appconn-install.sh进入交互式安装

需要输入字符串Exchangis以及Exchangis服务的ip前端端口,注意不要输错

若安装时输入的不是Exchangis前端端口,虽然也会安装成功但dss创建项目时会报错:

com.webank.wedatasphere.dss.framework.project.exception.DSSProjectErrorException: errCode: 71000 ,desc: 向第三方应用发起检查工程名是否重复失败,原因:IllegalStateException: Expected BEGIN_OBJECT but was STRING at line 1 column 1 path $

dss工作空间创建项目,Exchangis同时出现项目即为下载成功

以上是关于dss_linkis(dataspherestudio-1.1.1linkis-1.1.1)拓展工具安装——数据交换工具Exchangis的主要内容,如果未能解决你的问题,请参考以下文章