Ubuntu16.04+hadoop2.7.3环境搭建

Posted 2020-08-21 dark_saber

　　转载请注明源出处：http://www.cnblogs.com/lighten/p/6106891.html

　　最近开始学习大数据相关的知识，最著名的就是开源的hadoop平台了。这里记录一下目前最新版的hadoop在Ubuntu系统下的搭建过程。搭建过程中发现一篇十分清晰全面的搭建文章，本文删减了一些不重要的内容，细化了一些内容。可以点击此处查看：原文。

1.JDK的安装

　　hadoop是使用Java开发的一个大数据平台，自然少不了Java运行环境的安装了，当然使用hadoop不一定需要java语言，hadoop的开发支持很多种语言。

　　Java运行环境的安装详见另一篇文章，这里就不叙述了：Ubuntu16.04安装JDK。

2.配置SSH及免密码登陆

　　hadoop需要使用SSH的方式登陆，linux下需要安装SSH。客户端已经安装好了，只需要安装服务端就可以了：

　　sudo apt-get install openssh-server

　　测试登陆本机 ssh localhost  输入yes就应该可以登录了。但是每次输入比较繁琐，如果是集群那就是灾难了，所以要配置成免密码登陆的方式。

　　一共有三步：

　　1.生成公钥私钥 ssh -keygen -t rsa，将在~/.ssh文件夹下生成文件id_rsa：私钥，id_rsa.pub：公钥

　　2.导入公钥到认证文件，更改权限：

　　　　1）导入本机：cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys  

　　　　2）导入服务器：

　　　　　首先将公钥复制到服务器：

　　　　　　scp ~/.ssh/id_rsa.pub xxx@host:/home/xxx/id_rsa.pub  

　　　　　然后，将公钥导入到认证文件，这一步的操作在服务器上进行：

　　　　　　cat ~/id_rsa.pub >> ~/.ssh/authorized_keys 

　　　　　最后在服务器上更改权限：

　　　　　　chmod 700 ~/.ssh
    　　　　 chmod 600 ~/.ssh/authorized_keys  

　　　　3）测试：ssh localhost 第一次需要输入yes，之后就不需要了。

3.Hadoop的安装

　　1.下载hadoop安装包，下载地址：点这里。下载binary就行了。也可以使用wget命令下载。

　　2.解压、移动到你想要放置的文件夹

　　　　tar -zvxf hadoop-2.7.3.tar.gz

　　　　mv ./hadoop-2.7.3.tar.gz   /opt/hadoop

　　3.创建hadoop用户和组，并授予执行权限

　　　　sudo addgroup hadoop

　　　　sudo usermod -a -G hadoop xxx 　　#将当前用户加入到hadoop组

　　　　sudo gedit etc/sudoers　　#将hadoop组加入到sudoer

　　　　在root ALL=(ALL) ALL后 hadoop ALL=(ALL) ALL

　　　　sudo chmod -R 755 /opt/hadoop

　　　　sudo chown -R xxx:hadoop /opt/hadoop  //否则ssh会拒绝访问  

 　　　这些都是一般需要的操作，这篇文章还进行了其它的配置，如果遇到问题可以看看，是不是由于这些配置导致的：点这里。

　　4.修改配置文件，和JDK的安装一样，可以选择修改哪个文件。这里修改/etc/profile

　　　　export HADOOP_HOME=/opt/hadoop2.7.3

　　　　export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:$PATH

　　　　source /etc/hadoop

　　　这篇配置文章还配了很多其它配置，我暂时没有配置，遇到问题，可以做为参考。点这里。

　　5.测试是否配置成功

　　　　hadoop version

　　6.hadoop单机配置（非分布式模式）

　　　　hadoop默认是非分布式模式，不需要进行其它配置。可以测试demo来观察是否配置正确。

　　　　cd /opt/hadoop

　　　　mkdir input

　　　　cp README.txt input  

　　　　bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.7.3-sources.jar org.apache.hadoop.examples.WordCount input output

　　7.hadoop伪分布式配置

　　　　伪分布式只需要更改两个文件就够了。配置文件都在hadoop目录下的etc/hadoop中。

　　　　首先是core-site.xml，设置临时目录位置，否则默认会在/tmp/hadoo-hadoop中，这个文件夹在重启时可能被系统清除掉，所以需要改变配置路径。

<configuration>
        <property>
             <name>hadoop.tmp.dir</name>
             <value>file:/opt/hadoop/tmp</value>
             <description>Abase for other temporary directories.</description>
        </property>
        <property>
             <name>fs.defaultFS</name>
             <value>hdfs://localhost:9000</value>
        </property>
</configuration>

　　　　然后就是hdfs-site.xml，伪分布式只有一个节点，所以必须配置成1。还配置了datanode和namenode的节点位置。

<configuration>
        <property>
             <name>dfs.replication</name>
             <value>1</value>
        </property>
        <property>
             <name>dfs.namenode.name.dir</name>
             <value>file:/opt/hadoop/tmp/dfs/name</value>
        </property>
        <property>
             <name>dfs.datanode.data.dir</name>
             <value>file:/opt/hadoop/tmp/dfs/data</value>
        </property>
</configuration>

　　　　接着执行format命令，格式化名称节点：./bin/hdfs namenode -format

　　　　开启hdfs：./sbin/start-dfs.sh 如果出现ssh认证 输入yes就可以了。

　　　　输入jps命令查看是否启动成功

　　　　访问http://localhost:50070 查看节点信息。

　　　　关闭hdfs: ./sbin/stop-dfs.sh

　　　　上面都是hdfs的配置，接下来就需要配置mapreduce的相关配置了，不配这个也不会影响到什么。但是缺少了资源调度，hadoop2.x版本使用yarn来进行任务调度管理，这是与1.x版本最大的不同。

　　　　cp ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml

　　　　vim ./etc/hadoop/mapred-site.xml

<configuration>
        <property>
             <name>mapreduce.framework.name</name>
             <value>yarn</value>
        </property>
</configuration>

　　　　修改yarn的配置文件：yarn-site.xml

<configuration>
        <property>
             <name>yarn.nodemanager.aux-services</name>
             <value>mapreduce_shuffle</value>
            </property>
</configuration>

　　　　启动yarn，要先启动了hdfs：./sbin/start-yarn.sh

　　　　开启历史服务器，这样可以在web界面中查看任务运行情况：./sbin/mr-jobhistory-daemon.sh start historyserver

　　　　不启用 YARN 时，是 “mapred.LocalJobRunner” 在跑任务，启用 YARN 之后，是 “mapred.YARNRunner” 在跑任务。启动 YARN 有个好处是可以通过 Web 界面查看任务的运行情况：http://localhost:8088/cluster 。

　　8.分布式部署，没有两台电脑，没有尝试，具体见：这里。

4 后语

　　由于本机之前进行的配置，所以难免在写的时候会遗漏一些细节，如果有什么问题，请指教。