Mac下配置Hadoop环境

Posted 嘣嘣嚓

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Mac下配置Hadoop环境相关的知识,希望对你有一定的参考价值。

下载Hadoop(我下载的是2.8.0版本)

点击此处下载

下载后,使用

tar -zxvf tar包名

解压tar包,解压完成后有这样一个文件出现

 

修改Hadoop的配置文件

需要修改的配置文件在Hadoop安装路径下的 etc/hadoop中

需要修改的文件包括

  • hadoop-env.sh
  • core-site.xml
  • hdfs-site.xml
  • mapred-site.xml
  • yarn-site.xml

hadoop-env.sh修改内容如下

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.7.0_79.jdk/Contents/Home
export HADOOP_CONF_DIR=/Users/FengZhen/Desktop/Hadoop/hadoop-2.8.0/etc/hadoop

在对应的位置找到这两行配置,并修改为本机中的路径。

core-site.xml的配置修改如下

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>

<!--用来指定hadoop运行时产生文件的存放目录  自己创建-->
<property>
<name>hadoop.tmp.dir</name>
<value>/Users/FengZhen/Desktop/Hadoop/hadoop-2.8.0/tmp</value>
</property>
</configuration>

hdfs-site.xml的配置修改如下

<configuration>

<property>
<!--指定hdfs保存数据副本的数量,包括自己,默认为3-->
<!--伪分布式模式,此值必须为1-->
<name>dfs.replication</name>
<value>1</value>
</property>

<!--不是root用户也可以写文件到hdfs-->
<property>
<name>dfs.permissions</name>
<value>false</value>    <!--关闭防火墙-->
</property>

</configuration>

mapred-site.xml的配置修改如下

<configuration>
<property>
<!--指定mapreduce运行在yarn上-->
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

yarn-site.xml的配置修改如下

<configuration>

<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>localhost</value>
</property>
<property>
<!--NodeManager获取数据的方式-->
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

</configuration>

配置Hadoop环境变量

在 .bash_profile 文件中配置Hadoop环境变量,使用vim打开该文件,进入编辑模式

vim ~/.bash_profile

在该文件中添加

export HADOOP_HOME=/Users/FengZhen/Desktop/Hadoop/hadoop-2.8.0  此处为Hadoop的安装路径
export PATH=$PATH:$HADOOP_HOME/bin

添加完成后保存退出。

使用source命令使该文件中的修改立即生效

source ~/.bash_profile

 

到此所有的配置已经完成,接下来执行该命令格式化namenode

hadoop namenode -format

格式化成功之后,即可启动Hadoop,在Hadoop安装目录下有个/sbin目录,目录下有个start-all.sh,执行该文件

./start-all.sh

启动过程中会需要输入几次密码,输入即可。

启动结束后在shell输入命令  jps  可输出所有java进程及其pid

至此,Hadoop环境配置成功。

此时执行以下命令

hadoop fs -mkdir /testdata     在hdfs根目录下创建一个文件夹 testdata
hadoop fs -ls /          可查看根目录下的文件及文件夹

结束。。

 

以上是关于Mac下配置Hadoop环境的主要内容,如果未能解决你的问题,请参考以下文章

hadoop在Mac m1下搭建安装hadoop环境(亲测有效版)

在Mac下安装Hadoop的坑

Mac下hadoop,hive, hbase,spark单机环境搭建

Hadoop分布式环境部署

Mac 配置Spark环境(Spark1.6.0)

Mac 环境下svn服务器的配置