Hadoop从入门到入土（第五天）

Posted 2022-05-06 南城守护

目录

 

一、集群部署规划

二、群起集群

---

一、集群部署规划

namenode和ScondaryNameNode不要装在同一服务器

ResourceManager也消耗内存，不要和NameNode.SecondaryName Node配置在同一台机器上。

 

cd /opt/module/hadoop文件名>ll >cd etc/hadoop/>复制(

<!-- 指定 NameNode 的地址 -->
 <property>
 <name>fs.defaultFS</name>
 <value>hdfs://hadoop102:8020</value>
 </property>
 <!-- 指定 hadoop 数据的存储目录 -->
 <property>
 <name>hadoop.tmp.dir</name>
 <value>/opt/module/hadoop-3.1.3/data</value>
 </property>
 <!-- 配置 HDFS 网页登录使用的静态用户为 atguigu -->
 <property>
 <name>hadoop.http.staticuser.user</name>
 <value>atguigu</value>
 </property>

>.l>vim core-site.xml>按o（右键粘贴）>ll>复制(

<!-- nn web 端访问地址-->
<property>
 <name>dfs.namenode.http-address</name>
 <value>hadoop102:9870</value>
 </property>
<!-- 2nn web 端访问地址-->
 <property>
 <name>dfs.namenode.secondary.http-address</name>
 <value>hadoop104:9868</value>
 </property>

)>vim hdfs-site.xml>按o粘贴>ll>vim yarn-site.xml>删掉里面的内容>粘贴(

<!-- 指定 MR 走 shuffle -->
 <property>
 <name>yarn.nodemanager.aux-services</name>
 <value>mapreduce_shuffle</value>
 </property>
 <!-- 指定 ResourceManager 的地址-->
 <property>
 <name>yarn.resourcemanager.hostname</name>
 <value>hadoop103</value>
 </property>
 <!-- 环境变量的继承 -->
 <property>
 <name>yarn.nodemanager.env-whitelist</name>
 
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CO
NF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAP
RED_HOME</value>
 </property>

)>ll>vim mapred-site.xml>粘贴（

<!-- 指定 MapReduce 程序运行在 Yarn 上 -->
 <property>
 <name>mapreduce.framework.name</name>
 <value>yarn</value>
 </property>

）>cd ..>ll>pwd>xsync hadoop/

查看配置是否完成：

（103）cd /opt/module/hadoop-3.1.3/>ll>cd etc/>ll>cat core-site.xml

二、群起集群

第一次启动要在hadoop102节点上格式化NameNode

hdfs namenode -format>ll(初始化后里面会多data和logs路径）>cd data/>ll>cd dfs/>ll>cd name/>ll>cd current>ll>vim VERSION(namespaceid是当前服务器的版本号）>cd /opt/module/>ll>cd sbin/>cd ..>ll>sbin/start-dfs.sh>jps

(103和104）hadoop-3.1.3路径下>jps （查看配置）

（103） sbin/(TAB键）》start-yarn.sh>jps

今日份学习笔记：