Hadoop环境配置

Posted 多读书,少说话

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hadoop环境配置相关的知识,希望对你有一定的参考价值。

在虚拟机中安装Linux,我这里选用VMware虚拟机;Linux版本是Ubuntu

VMware安装Ubuntu这里就不做说明了,网上有很多教程

 

1.安装jdk

apt install openjdk-8-jre-headless

开始安装

2.配置Java环境变量

进入/etc/profile文件

输入以下内容

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

 

 可能会遇到“您没有权限修改”,尝试输入 sudo gedit /etc/profile;再进行编辑

 3.安装hadoop

输入以下命令,默认安装在桌面(desktop)

wget https://archive.apache.org/dist/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz

 

 移动到/opt/下,便于管理

mv hadoop-1.2.1.tar.gz /opt/

 

进入conf文件夹下,cd conf

编辑hadoop-env.sh

vim hadoop-env.sh

 

编辑core-site.xml

vim core-site.xml

 

在Property里面输入以下配置信息

<property>

<name>hadoop.tmp.dir</name>

<value>/hadoop</value>

</property>

<property>

<name>dfs.name.dir</name>

<value>/hadoop/name</value>

</property>

<property>

<name>fs.default.name</name>

<value>hdfs://localhost:9000</value>

</property>

 

 

编辑hdfs-site.xml

vim hdfs-site.xml

将下面这句话复制到property里

<property>
<name>dfs.data.dir</name>
<value>/hadoop/data</value>
</property>

编辑mapred-site.xml

vim mapred-site.xml

复制这句话,同理

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>

再回到/etc/profile,添加信息如下,配置Hadoop环境变量

使其生效

source /etc/profile

进入/opt/hadoop-1.2.1/bin

对namenode进行格式化操作

hadoop namenode -format

 

如果之前的配置正确,这一步不应该报异常,报错的话请检查之前四个文件(hadoop-env.sh,core-site.xml,hdfs-site.xml,mapred-site.xml)的配置是否正确

 

启动

 start-all.sh

然后输入root密码

 

最后在/opt/hadoop-1.2.1/bin目录下输入

jps

结果如下,至此,Hadoop环境搭建成功

 

以上是关于Hadoop环境配置的主要内容,如果未能解决你的问题,请参考以下文章

在Eclipse下搭建Hadoop开发环境

在Eclipse下搭建Hadoop开发环境

Hadoop运行环境搭建

hadoop环境配置怎么出现JAVA_HOME不正确

VSCode 配置 用户自定义代码片段 自定义自动代码补充

如何配置Hadoop环境