Hadoop伪分布式操作教程

Posted 2021-03-23 lovetl

hadoop所有的配置文件都是在 etc/hadoop下

(1)配置集群

第一步:在hadoop下修改core-site.xml文件

　　　　 vim etc/hadoop/core-site.xml

<configuration>

<!-- 指定HDFS中Name Node的地址-->

<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>

<!-- 指定Hadoop运行时产生文件的储存目录-->
<property>
<name>dfs.replication</name>
<value>/opt/module/hadoop-2.7.2/data/tem</value>
</property>

</configuration>

第二步:修改hadoop-evn.sh的java_home路径

　　echo $JAVA_HOME

　　输出结果为 /opt/software/javajdk

　　复制

　　vim hadoop-evn.sh

　　　修改　export JAVA_HOME=/opt/software/javajdk

　　　　保存退出

第三步:在hadoop下配置副本集

　　vim hdfs-site.xml

<configuration>
<name>dfs.replication</name>
<value>1</value>
</configuration>

保存退出

 

(2)启动集群

第一步:格式化Name Node(第一次启动时格式化,以后就不要总格式化)

　　　　bin/hdfs namenode -format     　　进入bin目录下hdfs文件下的namenode -format命令

第二步:启动Name Node

　　　　sbin/hadoop-daemon.sh  start  namenode

　　　　(启动后使用  jps 命令查看进程 必须安装jdk才能使用)

第三步:启动DATa Node

sbin/hadoop-daemon.sh start datanode

(启动后使用  jps 命令查看进程 必须安装jdk才能使用)

启动后可通过http://192.168.1.101:50070/  查看ip地址为你的ip地址(外界主机访问需要关闭防火墙)

(3)查看集群 

　　jps