hadoop安装配置

Posted 2020-06-11

linux中

首先需要先安装jdk并配置相应的环境变量

通过wget方式下载hadoop1.2.1版本，如果是生产环境使用建议使用1.*版本，因为2.*版本刚推出没多久，比较不稳定

下载地址 http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz

可以使用mv把下载的安装包剪切到opt目录

之后使用tar解压

解压完成后需要配置hadoop-env.sh的java环境变量

core-site.xml（空文件）

配置：

<property>
<name>hadoop.tmp.dir</name>
<value>/hadoop</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/hadoop/name</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://coder:9000</value> --访问hadoop的路径跟端口号coder  主机名
</property>

hdfs-site.xml

1 <property>
2 <name>dfs.data.dir</name>
3 <value>/hadoop/data</value>
4 </property>

mapred-site.xml

1 <name>mapred.job.tracker</name>
2 <value>coder:9001</value> --访问hadoop的路径跟端口号coder  主机名

配置好以后，启动hadoop之前需要将hadoop的nameNode 初始化--格式化文件系统

执行hadoop namenode -format

之后可以通过start-all.sh来启动hadoop

启动成功后，通过jps查看进程是否包含hadoop的相关进程。