hadoophadoop配置

Posted 2021-01-07 晨曦、

hadoop入门（二）

hadoop的配置

1.本地模式

2.伪分布式

3.分布式

 

 

一、配置linux环境：

1打开虚拟网络编辑器，选择 VMnet1 仅主机模式，

子网 IP 设为 192.168.1.0 ，子网掩码设为 255.255.255.0

2.增加用户组

创建用户：

adduser 用户名

password  用户名

# useradd dev #创建用户

# passwd dev #修改密码

更改用户 dev 的密码 。

新的 密码：

重新输入新的 密码：

passwd：所有的身份验证令牌已经成功更新。

3.修改linuxIP地址

4.修改主机名

vi /etc/sysconfig/network

5.配置主机名和本地映射关系

vi /etc/hosts

6.关闭防火墙

#查看防火墙状态

service iptables status

#关闭防火墙

service iptables stop

#查看防火墙开机启动状态

chkconfig iptables --list

#关闭防火墙开机启动

chkconfig iptables off

5.在windows上配置主机名的映射

6.安装jdk

6.卸载本身带的JDK

rpm-qa|grep jdk

rpm -e --nodeps[jdk名称1 jdk名称2]

7.root用户下设置无密码用户切换

ls-l/etc/sudoers

vi /etc/sudoers

加:一行

用户名 ALL=（root）NOPASSWD:ALL

 

克隆虚拟机并进行相关的配置

 

1. 创建我们要使用的目录

Sudo mkdir /opt/softwares

Sudo mkdir /opt/modules

Sudo mkdir /opt/tools

Sudo mkdir/opt/datas

 

2. 将root用户的目录改变成kfk用户所属目录

Sudo chown –R kfk:kfk /opt/*

3. 将JDK安装包通过工具上传到/opt/softwares目录下
4. 更改文件的可执行权限

Chmod u+x /opt/softwares/*

5. 安装解压JDK

Tar –zxf jdk  -C /opt/modules/

6. 配置jdk环境
7. 修改虚拟机大小
8. 修改虚拟机名称

 

 

 

二、配置hadoop环境

1.配置hadoo环境变量

在vi /software/hadoop-2.5.0/etc/hadoop/hadoop-env.sh

添加export JAVA_HOME=/opt/software/jdk1.8.0_11

2.修改 core-site.xml 文件

用来设置namenode的地址

这个用来设置namenode的地址

<configuration>

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://localhost:9000</value>

    </property>

</configuration>

 

 

指定hadoop运行时产生的文件存储位置

<configuration>

    <property>

        <name> hadoop.tmp.dir</name>

        <value>/opt/modules/hadoop-2.5.0/data/tmp</value>

    </property>

</configuration>

 

3.修改hdfs.site.xml 文件

用来修改datanode的副本数

<configuration>

    <property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

</configuration>

 

4:修改:mapred-site.xml:

目的是让mapred运行在yarn上

<configuration>

    <property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

    </property>

</configuration>

 

5.修改：yarn.site.xml

<configuration>

      

        <property>

                     <name>yarn.resourcemanager.hostname</name>

                     <value>bigdata-pro01</value>

              </property>

        <property>

                     <name>yarn.nodemanager.aux-services</name>

                     <value>mapreduce_shuffle</value>

              </property>

</configuration>

 

第一个property是用来指定resoucemanager的地址

第二个property是用来reducer获取数据的方式

 

 

6.修改环境变量

#HADOOP_HOME

Export HADOOP_HOME=/opt/modules/hadoop-2.5.0

Export PATH=$PATH:$HADOOP_HOME/bin

 

生效环境变量：

Source /etc/profile

 

7.格式化HDFS

Bin/hdfs namenode -format