hadoop install

Posted 2021-01-20

1.Hadoop安装步骤
将Hadoop文件拷贝到/usr/local目录下并解压Tar -zxvf hadoop-3.0.0.tar.gz
将解压后文件重命名hadoop mv hadoop-3.0.0.tar.gz hadoop
1.1、配置host ip映射关系 vim /etc/host
172.26.19.40 hmaster
172.26.19.41 hslave1
172.26.19.42 hslave2
172.26.19.43 hslave3
1.2、vim /etc/profile 配置Hadoop classpath
#set java environment /usr/local/java/jdk1.8.0_151
export JAVA_HOME=/usr/java/jdk1.8.0_151
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin
export PATH=$PATH:/usr/local/hive/bin
2.配置Hadoop相关,在/usr/local/hadoop/etc/hadoop目录下配置
vim hadoop-env.sh 运行环境依赖Java JDK
export JAVA_HOME=/usr/java/jdk1.8.0_151
配置Hadoop NameNode节点（Hadoop可以启动啦）
2.1、vim core-site.xml 每个节点都需要配置才可
------配置通信节点url，所有节点都需要该配置
hadoop.tmp.dir 配置Hadoop文件存储默认目录（若未配置，默认保存临时目录/tmp下的）
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>

<property>
<name>hadoop.tmp.dir</name>
<value>/var/hadoop</value>
</property>
</configuration>

3.Hadoop默认4个基本配置文件
hadoop默认配置
Core-default.xml ------对应 core-site.xml
Hdfs-default.xml-------对应 hdfs-site.xml
mapred-default.xml
yarn-default.xml
3.1、Hdfs-site.xml 配置后覆盖默认配置（Hdfs-site.xml仅在Namenode配置即可）
----配置hadoop复制的保存份数（只在namenode节点配置即可）
dfs.replication HDFS保存文件保存的份数（默认是3份）
dfs.namenode.heartbeat.recheck-interval DataNode健康检查的间隔时间（毫秒）
dfs.permissions.enabled 测试时，可以关闭权限检查(否则没有权限访问）
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.namenode.heartbeat.recheck-interval</name>
<value>20000</value>
</property>
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>
</configuration>
3.2、mapred-site.xml仅在Namenode配置即可），
mapreduce.framework.name 将mapreduce与yarn资源调度平台关联（即mapreduce计算引擎使用yarn作为调度引擎）
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
3.3yarn-site.xml仅在Namenode配置即可
yarn.resourcemanager.hostname 配置Namenode的主机名
yarn.nodemanager.aux-services/yarn.nodemanager.aux-services.mapreduce_shuffle.class 配置计算MapReduce计算服务
<configuration>

yarn.resourcemanager.hostname hmaster yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.aux-services.mapreduce_shuffle.class org.apache.hadoop.mapred.ShuffleHandler 4、基本配置完毕，先格式化namenode节点 Hdfs namenode -format start-dfs.sh 启动Hadoop集群所有节点 stop-dfs.sh 停止Hadoop集群所有节点 启动namenode节点（master） hdfs --daemon start namenode （3.0写法） hdfs --daemon stop namenode hadoop-daemon.sh start namenode hadoop-daemon.sh stop namenode hadoop-daemon.sh start datanode hadoop-daemon.sh stop datanode jps查看相关进程是否起来 hdfs dfsadmin -report | more 查看Hadoop集群的状态 http://172.26.19.40:50070/ Hadoop集群UI管理界面 http://172.26.19.40:9000/ 集群内部通信接口服务 5、仅在namenode节点/usr/local/hadoop/etc/hadoop下 在slaves文件里添加所有DataNode节点hostname（方便以后脚本批量配置所有slaves节点） vim slaves hslave1 hslave2 hslave3 6、免密设置 cd ~ 来到根目录 ll -a 找到.ssh 文件 在.ssh目录执行 ssh-keygen -t rsa 生成root用户私钥与公钥如下图 然后将公钥id_rsa.pub 拷贝到所有slave节点.ssh目录 （在master 上用root登录slave时，用master的私钥加密后传输到slave节点，在所有slave节点拷贝的公钥能解密，证明是root用户登录上来了） 执行命令 Ssh-copy-id slave2 拷贝公钥id_rsa.pub 到slave2的.ssh目录（生成文件authorized_keys） 这时在master上可以免密登录slave1了