使用 docker 一键搭建 hadoop,hbase, hive 等大数据集群

Posted 2021-05-17 做人要厚道2013

注意

资源的下载地址:
链接: https://pan.baidu.com/s/1YSqC59v1djKamLBrfr9L2g 密码: wrs2
有问题联系我:[e-mail]

脚本的运行环境: centos7.5 +

目录说明

• 不要更改docker_bigdata及子目录的目录结构
• 进入到docker_bigdata目录下再执行脚本

镜像构建说明

• build_all.sh 可以构建需要用到的所有镜像, 运行的时候, 根据自己的需要选择需要构建的镜像,最后会创建 3 个容器 hadoop162, hadoop163, hadoop164
• 容器构建后, 直接可用的环境包括
  1. hadoop集群
  2. zookeeper集群
  3. kafka集群
  4. hbase集群
  5. es集群
  6. redis
  7. hive
  8. spark
  9. Phoenix

容器启动说明

• contains.sh start 启动集群容器
• 启动的时候会自动根据当前宿主机的 ip 进行配置, 3 个容器的 ip 分别是 xxx.162, xxx.163, xxx.164, xxx 是根据当前宿主的 ip 自动获取的
• 内置了root和atguigu用户, 密码均为aaaaaa
• 容器第一次启动已经完成的事情
  1. 虚拟机与容器之间免密登录
  2. 容器与容器之间免密登录
  3. 格式化hdfs
  4. 给mysql的root用户设置密码为aaaaaa

特别说明

• 容器一旦创建成功之后, 以后使用的时候启动即可
• 启动 hadoop: hadoop.sh start
• 启动 kafka: kafka.sh start
• 启动 zookeeper: zk start
• 启动 hbase: start-hbase.sh