虚拟机CentOs的安装及大数据的环境搭建

Posted 2020-09-27 菜鸟的进击

                              大数据问题汇总
     1.安装问题
        1.安装步骤，详见文档《centos虚拟机安装指南》
        2.vi编辑器使用问题，详见文档《linux常用命令.pdf》
        3.网络中继更改问题
        命令：   vi /etc/sysconfig/network-scripts/ifcfg-eth0
·········需要修改的代码
·········DEVICE=eth0
            HWADDR=00:0C:29:11:02:E8
            TYPE=Ethernet
            UUID=c1038317-21f4-4251-a68f-0962fd644cab
            NBOOT=yes
            NM_CONTROLLED=yes
            BOOTPROTO=static
            IPADDR=192.168.17.238
            GATEWAY=192.168.17.1
            NDS1=114.114.114.114
            IPV6INIT=NO
      安装步骤到此结束
 2.hadoop 环境配置问题
           1.修改主机名称
               命令：vi /etc/hosts
           2.配置java ，hadoop环境变量
              命令：vi/etc/prifile
#java
JAVA_HOME=/jdk1.7.0_79
JAVA_BIN=/jdk1.7.0_79/bin
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME JAVA_BIN PATH CLASSPATH
#hadoop
export HADOOP_HOME=/home/hadoop-2.5.2
export PATH=$HADOOP_HOME/bin:$PATH
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export JAVA_LIBRARY_PATH=/home/hadoop-2.5.2/lib/native/
         生效     命令：. /etc/prifile
        3关闭放火枪
           service iptables stop
           chkconfig iptables off
           3.1修改配置文件
           vi  /etc/selinux/config
                   修改为：
                     SELINUX=disabled

       4.ssh免密设置
         下载 ssh服务
            命令：yum -y install openssh-clients
         生成ssh密匙：
            ssh-keygen -t rsa
        进入根目录：命令： cd~;
         cd .ssh
          ls 查看文件
         将文件  id_rsa.hub 考入： 命令：cat id_rsa.pub  >>authorized_keys
         将 datanode节点上的 id_rsa.hub 考入 命令
         ssh datanode1 cat .ssh/id_rsa.pub >>authorized_keys
        将文件发送到datanode节点：   
                    [[email protected] ~]# scp authorized_keys datanode1:~/.ssh
       测试 ssh datanode1 免密登陆到datanode1主机
       至此 前期配置完成
         5 hadoop配置
         修改hadoop配置文件
         yarn-site.xml
         mapred-site.xml
         slaves hdfs-site.xml
         yarn-env.sh
         hadoop-env.sh
       详见《hadoop配置手册》
      配置环境测试：
               cd /home/hadoop-2.5.2/sbin
             输入 sh start-all.sh
            等待启动
           启动完毕后
       测试：
              输入 jps
                namenode 节点 显示：
                      8722 ResourceManager
                       11446 Jps
                        9371 DataNode
                       8812 NodeManager
                        9283 NameNode
              datanode1节点 输入 jps
                        显示：
                    5694 Jps
                    2867 NodeManager
                    2782 DataNode
             则基本配置成功
            测试计算 pi
       cd /home/hadoop-2.5.2/share/hadoop/mapreduce   
          命令  [[email protected] mapreduce]# hadoop jar hadoop-mapreduce-examples-2.5.2.jar pi 2 5   
          回车