Hadoop环境配置

Posted 2021-01-14 多读书，少说话

在虚拟机中安装Linux，我这里选用VMware虚拟机；Linux版本是Ubuntu

VMware安装Ubuntu这里就不做说明了，网上有很多教程

 

1.安装jdk

apt install openjdk-8-jre-headless

开始安装

2.配置Java环境变量

进入/etc/profile文件

输入以下内容

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

 

 可能会遇到“您没有权限修改”，尝试输入 sudo gedit /etc/profile;再进行编辑

 3.安装hadoop

输入以下命令，默认安装在桌面(desktop)

wget https://archive.apache.org/dist/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz

 

 移动到/opt/下，便于管理

mv hadoop-1.2.1.tar.gz /opt/

 

进入conf文件夹下,cd conf

编辑hadoop-env.sh

vim hadoop-env.sh

 

编辑core-site.xml

vim core-site.xml

 

在Property里面输入以下配置信息

<property>

<name>hadoop.tmp.dir</name>

<value>/hadoop</value>

</property>

<property>

<name>dfs.name.dir</name>

<value>/hadoop/name</value>

</property>

<property>

<name>fs.default.name</name>

<value>hdfs://localhost:9000</value>

</property>

 

 

编辑hdfs-site.xml

vim hdfs-site.xml

将下面这句话复制到property里

<property>
<name>dfs.data.dir</name>
<value>/hadoop/data</value>
</property>

编辑mapred-site.xml

vim mapred-site.xml

复制这句话，同理

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>

再回到/etc/profile,添加信息如下，配置Hadoop环境变量

使其生效

source /etc/profile

进入/opt/hadoop-1.2.1/bin

对namenode进行格式化操作

hadoop namenode -format

 

如果之前的配置正确，这一步不应该报异常，报错的话请检查之前四个文件(hadoop-env.sh,core-site.xml,hdfs-site.xml,mapred-site.xml)的配置是否正确

 

启动

 start-all.sh

然后输入root密码

 

最后在/opt/hadoop-1.2.1/bin目录下输入

jps

结果如下，至此，Hadoop环境搭建成功