apache ambari 部署分布式系统
Posted 黎明踏浪
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了apache ambari 部署分布式系统相关的知识,希望对你有一定的参考价值。
系统:
win10 + Hyper-V
虚拟机设置
https://mswiki.morningstar.com/display/~kke/Setup+Hyper-V
虚拟机系统:
ubuntu 18.04 server
安装gnome桌面
https://www.linuxidc.com/Linux/2018-12/156031.htm
https://www.jianshu.com/p/ff5e80305349
因为后面在安装HDP 3.1时,如果从网络安装非常慢,所以最好设置本地源
下载本地库(选择对应的OS版本,本测试用ubuntu18):
https://docs.hortonworks.com/HDPDocuments/Ambari-2.7.3.0/bk_ambari-installation/content/hdp_31_repositories.html
本地源需要设置http server,选择 Apache2 web 服务器的安装
https://blog.csdn.net/weixin_39212776/article/details/81192847
配置本地源
https://www.jianshu.com/p/c319bce45601
需要注意的一个地方是,在更新密钥时,执行命令如果失败,请使用下面方式执行
sudo apt-key adv --recv-keys --keyserver hkp://keyserver.ubuntu.com:80
B9733A7A07513CAD
https://superuser.com/questions/620765/sudo-apt-key-adv-keyserver-keyserver-ubuntu-com-recv-7f0ceb10-command-return
Ambari 安装方式
从Apache Ambari源码安装(需要编译及安装,非常慢):
https://cwiki.apache.org/confluence/display/AMBARI/Installation+Guide+for+Ambari+2.7.3
从HorntonWorks安装已编译的安装包
https://docs.hortonworks.com/HDPDocuments/Ambari-2.7.3.0/bk_ambari-installation/content/ch_Getting_Ready.html
在安装Ambari过程中,如果不能自动安装Ambari Agent,则需要手动安装,
https://docs.hortonworks.com/HDPDocuments/Ambari-2.7.3.0/administering-ambari/content/amb_install_the_ambari_agents_manually_on_ubuntu_18.html
安装分布式系统cluster
问题解决:
1:Failed to download file from http://10-110-92-148:8080/resources/mysql-connector-java.jar due to HTTP error: HTTP Error 404: Not Found
需要安装mysql 驱动,并复制到resources目录
sudo apt-get install libmysql-java
cp /usr/share/java/mysql-connector-java.jar /var/lib/ambari-server/resources/mysql-jdbc-driver.jar
2:Failed: Execution of ‘ambari-python-wrap /usr/bin/hdp-select set zookeeper-server 3.1.0.0-78‘ returned 1. symlink target /usr/hdp/current/zoopeeper-server for zookeeper already exists and it is not a symlink
查看/usr/hdp/current下面有没有没有生成软链接的文件,如果没有就删除,执行下面命令重建软链接
hdp-select set zookeeper-server 3.1.0.0-78
以上是关于apache ambari 部署分布式系统的主要内容,如果未能解决你的问题,请参考以下文章
利用先电云iaas平台搭建apache官方大数据平台(ambari2.7+hdp3.0)