大数据分析技术：hadoop伪分布模式安装

Posted 2022-05-18 求知世界

hadoop伪分布模式安装

1 配置核心组件文件

Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节点既作为 NameNode 也作为 DataNode，同时，读取的是 HDFS 中的文件。

通常情况下，Hadoop集群中需要配置的文件主要包括四个，分别是core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml，这四个文件分别是对不同组件的配置参数。

序号	配置文件名	配置对象	主要内容
1	core-site.xml	集群全局参数	用于定义系统级别的参数，如HDFS URL、Hadoop的临时目录等。
2	hdfs-site.xml	HDFS参数	名称节点和数据节点的存放位置、文件副本的个数、文件读取权限等。
3	mapred-site.xml	Mapreduce参数	包括JobHistory Server和应用程序参数两部分，如reduce任务的默认个数、任务所能够使用内存的默认上下限等。
4	yarn-site.xml	集群资源管理系统参数	配置 ResourceManager，NodeManager 的通信端口，web监控端口等。

(1)配置Hadoop 的核心组件文件是 core-site.xml

Hadoop配置文件的根元素configuration，一般只包含子元素property。每一个property元素就是一个配置项，配置文件不支持分层或分级。

每个配置项一般包括配置属性名称name、值value和一个关于配置项的描述description。元素final和Java中的关键字final类似，意味着这个配置项是“固定不变的”。final一般不出现，但在合并资源的时候，可以防止配置项的值被覆盖。

在configuration中每个属性都是String类型的，值类型可能是以下多种类型包括Java中的基本类型，如Boolean、Int、Long、Float也可以是其他类型，如String、File、数组等。以上面的配置文件为例，定义了三个集群的参数，分别是集群主机和端口、临时文件存放位置，两个配置项是字符串型。

<configuration>

<!-- 指定hadoop数据的存储目录 -->

<property>

<name>hadoop.tmp.dir</name>

<value>/opt/module/hadoop/data</value>

</property>

<!-- 指定NameNode的地址 -->

<property>

<name>fs.defaultFS</name>

<value>hdfs://hadoop01:9000</value>

</property>

</configuration>

(2) Hadoop 的文件系统配置文件 hdfs-site.xml

<configuration>

<!-- 设置HDFS中的副本数量为1-->   <property>

        <name>dfs.replication</name>

        <value>1</value>

</property>

</configuration>

(3)配置Yarn的站点配置文件yarn-site.xml

<configuration>

<!-- 指定ResourceManager的地址-->

        <property>

                <name>yarn.resourcemanager.hostname</name>

                <value>hadoop01</value>

        </property>

<!-- 指定MR走shuffle -->

        <property>

                <name>yarn.nodemanager.aux-services</name>

                <value>mapreduce_shuffle</value>

        </property>

</configuration>

（4）配置MapReduce配置文件mapred-site.xml

<configuration>

<!-- 指定MapReduce程序运行在Yarn上 -->

    <property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

    </property>

</configuration>

2 在环境变量中添加下面的配置

vi /etc/profile

然后向里面加入如下的内容

export HDFS_NAMENODE_USER=root

export HDFS_DATANODE_USER=root

export HDFS_SECONDARYNAMENODE_USER=root

export YARN_RESOURCEMANAGER_USER=root

export YARN_NODEMANAGER_USER=root

输入如下命令使改动生效

source /etc/profile

3 配置hadoop-env.sh

修改JAVA_HOME的路径

export JAVA_HOME=/opt/module/jdk1.8.0_212

4配置完成后，执行 NameNode 的格式化:

hdfs namenode -format

成功的话，会看到 “successfully formatted” 的提示