Hadoop集群及组件
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hadoop集群及组件相关的知识,希望对你有一定的参考价值。
参考技术A 1、重启云主机 hadoop1,node-0001,node-0002,node-00032、在 hadoop1 上安装配置 zookeeper,并同步给其他主机
使用zookeeper-3.4.13.tar.gz
所有节点手工启动服务
当所有节点启动完成以后使用命令验证:
/usr/local/zookeeper/bin/zkServer.sh status
手册地址
1、安装配置 kafka,并同步给其他主机
拷贝云盘 public/hadoop/kafka_2.12-2.1.0.tgz 到 hadoop1
2、修改 node-0001,node-0002,node-0003 配置文件并启动服务
3、验证(在不同机器上执行)
购买云主机
hadoop1 上执行
hadoop2 上执行
在 hadoop1 上完成以下文件的配置
1、配置 hadoop-env.sh
2、配置 slaves
3、配置 core-site.xml
4、配置 hdfs-site.xml
5、配置 mapred-site.xml
6、配置 yarn-site.xml
1、重启机器、在 node-0001,node-0002,node-0003 启动 zookeeper
2、清空实验数据并同步配置文件(hadoop1 上执行)
3、在 node-0001,node-0002,node-0003 启动 journalnode 服务
4、初始化(hadoop1 上执行)
5、停止在 node-0001,node-0002,node-0003 上的 journalnode 服务
6、启动集群
大数据实战——hadoop集群组件启动及服务组件配置修改
前言
本节内容我们主要介绍,如何启动hadoop的组件服务,例如hdfs、yarn等,并通过修改自定义配置文件,修改我们组件的配置。关于hadoop组件的部署同上一节内容,如下:
hadoop101 | hadoop102 | hadoop103 | |
---|---|---|---|
HDFS | NameNode DataNode | DataNode | SecondaryNameNode DataNode |
YARN | NodeManager | ResourceManager NodeManager | NodeManager |
正文
- hadoop服务组件的配置文件
①hadoop服务默认配置文件说明
文件名称 默认存放位置 说明 core-default.xml hadoop-common-3.1.3.jar/core-default.xml 核心配置文件 hdfs-default.xml hadoop-hdfs-3.1.3.jar/hdfs-default.xml hdfs组件配置文件 yarn-default.xml hadoop-yarn-common-3.1.3.jar/yarn-default.xml yarn组件配置文件 mapred-default.xml hadoop-mapreduce-client-core-3.1.3.jar/mapred-default.xml MapReduce组件配置文件 ②在/opt/module/hadoop-3.1.3/etc/hadoop目录下修改hadoop自定义配置文件
a.使用vi编辑器修改core-site.xml核心配置文件
<!-- core-site.xml配置 --> <configuration> <!-- 指定NameNode的地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop101:8020</value> </property> <!-- 指定hadoop数据的存储目录 --> <property> <name>hadoop.tmp.dir</name> <value>/opt/module/hadoop-3.1.3/data</value> </property> <!-- 配置HDFS网页登录使用的静态用户为hadoop --> <property> <name>hadoop.http.staticuser.user</name> <value>hadoop</value> </property> </configuration>
b.使用vi编辑器修改hdfs-site.xml配置文件
<!-- nn web 端访问地址--> <property> <name>dfs.namenode.http-address</name> <value>hadoop101:9870</value> </property> <!-- 2nn web 端访问地址--> <property> <name>dfs.namenode.secondary.http-address</name> <value>hadoop103:9868</value> </property>
c.使用vi编辑器修改yarn-site.xml配置文件
<!-- 指定 MR 走 shuffle --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <!-- 指定 ResourceManager 的地址--> <property> <name>yarn.resourcemanager.hostname</name> <value>hadoop102</value> </property> <!-- 环境变量的继承 --> <property> <name>yarn.nodemanager.env-whitelist</name> <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value> </property>
d.使用vi编辑器修改mapred-site.xml 配置文件
<!-- 指定 MapReduce 程序运行在 Yarn 上 --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>
e.配置workers
③分发修改的配置文件到hadoop102与hadoop103服务器
命令:hsync /opt/module/hadoop-3.1.3/etc/hadoop
- 将hadoop集群的root账号切换到hadoop账号,实现hadoop账户之间的免密登录和文件共享
①hadoop集群服务器全部切换到hadoop账户下,实现hadoop账户下的免密登录 ,所有hadoop服务器都执行此项操作
②在hadoop101服务器上的hadoop账户下创建共享文件脚本
#!/bin/bash #1. 判断参数个数,此处的传参为文件名称或者目录名称 if [ $# -lt 1 ] then echo Not Enough Arguement! exit; fi #2. 遍历集群所有机器 for host in hadoop101 hadoop102 hadoop103 do echo ==================== $host ==================== #3. 遍历所有目录,挨个发送 for file in $@ do #4. 判断文件是否存在 if [ -e $file ] then #5. 获取父目录 pdir=$(cd -P $(dirname $file); pwd) #6. 获取当前文件的名称 fname=$(basename $file) ssh $host "mkdir -p $pdir" rsync -av $pdir/$fname $host:$pdir else echo $file does not exists! fi done done
③在可执行脚本hsync目录/home/hadoop/bin下的hadoop101、hadoop02、hadoop103服务器上分别执行以下命令
- hadoop服务组件启动
①如果集群是第一次启动,需要在 hadoop101节点格式化NameNode
命令:hdfs namenode -format
②在hadoop101服务器上启动hdfs
命令:sbin/start-dfs.sh
③在hadoop102服务器上启动yarn
命令:sbin/start-yarn.sh
- 验证hadoop集群
①访问hdfs地址:http://hadoop101:9870/
② 访问2nn的web地址
③访问yarn的web地址:http://hadoop102:8088/
结语
至此,关于hadoop组件启动及自定义配置文件的内容到这里就结束了,我们下期见。。。。。。
以上是关于Hadoop集群及组件的主要内容,如果未能解决你的问题,请参考以下文章
Hadoop集群高可用及zookeeper+kafka组件搭建