搭建tdh平台

Posted qfdy123

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了搭建tdh平台相关的知识,希望对你有一定的参考价值。

1、卸载tdh平台(见tdh集群卸载文件夹)

在manager节点执行chmod +x uninstall.sh (非root用户执行sudo chmod +x uninstall.sh)开始卸载TDH。

uninstall.sh读取manager安装的节点和服务信息,将uninstall_community_agent_template.sh渲染成uninstall_community_agent_instance.sh,然后在agent节点上执行。

注: manager节点需要到agent节点去执行uninstall_community_agent_instance.sh脚本,需要agent节点的密码,所以可以提前配置manager到agent节点的无秘钥登录。
注意: 使用该卸载脚本后如果再次安装TDH5.1.2以下版本请为docker手动分配磁盘分区。

uninstall.sh有如下参数可选:

(1) --keepdata 默认是false,不保留数据,如果想保留数据, uninstall.sh --keepdata=true
(2) --nodes 指定节点进行删除,用法是uninstall.sh --nodes=hostname1

(3) --nopasswd 指定使用无秘钥登录方式登录各节点进行卸载,uninstall.sh --nopasswd
(4) --user=* 指定无秘钥登录用户名,如 uninstall.sh --nodes=transwarp

(5) --sshkey=* 指定无秘钥登录的私钥文件,如uninstall.sh --sshkey=/etc/transwarp/transwarp-id_rsa

2、第一次搭建

选择网卡这项选择错误的网卡

技术图片

添加完节点后点击下一步时报错 “ACTIVE NODES ARE :LIST()”,无法进行下一步

技术图片

2、第二次搭建

又使用脚本卸载集群重装,执行完后本应该重新开始,但是未安装manager仍能访问到web页面,且在install manager时提示地址占用

无奈根据下面解决方法将进程kill掉,然后重新安装。

 

无法启动的原因确定是因为50010端口被占用,此端口是datanode需要的一个端口。

接下来就要查看这个端口被什么进程占用:

netstat -anp | grep 50010

这个进程的具体信息:
ps -ef | grep 12779

此时已基本确认问题,确认这个进程的内容,根据情况,先将这个进程关闭,停止相关的程序或者kill 12779


以上是关于搭建tdh平台的主要内容,如果未能解决你的问题,请参考以下文章

TDH大数据平台的卸载与重装

TDH大数据平台数据入库方案

大数据问题排查系列 - TDH大数据平台中 HIVE作业长时间无法执行结束

TDH 8.0 使用必读 1 :为什么你需要存算解耦的多模型数据管理平台

TDH4.2实现分布式事务处理新突破,国产大数据平台大幅领先

大数据问题排查系列 - TDH大数据平台中HIVE作业长时间无法执行结束