hadoop伪分布式

Posted 2020-11-21 华格瑞沙

1. JDK安装配置

   1 执行 rpm -i  jdk-8u91-linux-x64.rpm  默认安装在/usr/java/jdk1.8.0_91目录中
   2 
   3 配置环境变量
   4 vi /etc/profile
   5 在最后一行添加
   6 export  JAVA_HOME=/usr/java/jdk1.8.0_91
   7 export  PATH=$PATH:$JAVA_HOME/bin
   8 
   9 source /etc/profile 使环境变量生效

2. ssh免秘钥(本机)

   1 生成公钥并追加到文件中保存
   2 ssh-keygen -t dsa -P ‘‘ -f ~/.ssh/id_dsa
   3 cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

3. Hdaoop安装配置

    1 在/opt 创建hadoop目录 /sxt，上传hadoop.tar.gz到服务器，解压移动到指定目录
    2 mv hadoop-2.6.5 /opt/sxt
    3 
    4 配置环境变量
    5 vi /etc/profile
    6 export JAVA_HOME=/usr/java/jdk1.7.0_67
    7 export  HADOOP_HOME=/opt/sxt/hadoop-2.7.3
    8 export  PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
    9 
   10 source /etc/profile 使环境变量生效

4. Hadoop环境配置，

   进入hadoop的配置目录
   cd /opt/sxt/hadoop-2.7.3/etc/hadoop 

   1 vi hadoop-env.sh
   2 修改JAVA_HOME为
   3 export JAVA_HOME=/usr/java/jdk1.8.0_91

    1 vi core-site.xml
    2 添加配置
    3 <property>
    4      <name>fs.defaultFS</name>
    5      <value>hdfs://node01:9000</value>
    6 </property>
    7 <property>
    8      <name>hadoop.tmp.dir</name>
    9      <value>/var/sxt/hadoop/local</value>
   10 </property>

    1 vi hdfs-site.xml
    2 添加配置
    3 <property>
    4      <name>dfs.replication</name>
    5      <value>1</value>
    6 </property>
    7 <property>
    8      <name>dfs.namenode.secondary.http-address</name>
    9      <value>node00:50090</value>
   10 </property>

   1 vi slaves
   2 修改
   3 node00

5. HAdoop启动测试

    1 格式化  hdfs namenode -format
    2 启动  start-dfs.sh
    3 查看进程 jps
    4 28341 SecondaryNameNode
    5 28102 NameNode
    6 28207 DataNode
    7 28480 Jps
    8 
    9 上传文件测试
   10 hdfs dfs -mkdir /user
   11 hdfs dfs -ls /user
   12 hdfs dfs -mkdir /user/root
   13 hdfs dfs -D dfs.blocksize=1048576 -put hadoop-2.7.3.tar.gz 
   14 
   15 浏览器访问查看上传文件
   16 http://192.168.68.99:50070