hadoop---前期准备---屌丝

Posted 2020-06-26

　　hadoop要求有多台机子进行后续的数据处理，作为屌丝一枚，怎么才能搭建一个合适的环境学习hadoop？这就是本篇将要介绍的----前期准备。

　　搭建环境没啥好说的，说一下搭建环境多需要的吧

　　　　硬件：电脑 （win7系统）

　　　　软件：　虚拟机软件VMware Workstation Pro

　　　　　　　　操作系统Centos 6.7

　　　　　　　　终端模拟软件XShell

　　　　　　　　反向代理软件ngrok

　　安装配置VMware以及安装Centos系统就不介绍了，现在主要讲解下面的一些配置

　　1.SSH服务

　　直接在虚拟机里面操作有些麻烦，开启ssh服务以后就可以在win7系统上通过工具进行连接

　　首先打开终端，输入 rpm -qa |grep ssh 查找当前系统是否已经安装ssh　

　　如果没有安装，可以通过yum install ssh进行安装

　　安装完成之，通过service sshd start命令启动ssh服务

　　通过iptables stop命令将防火墙关闭

　　可以通过ifup eth0（自己的网卡配置）开启网卡

　　ifconfig查看IP

　　打开XShell，点击新建打开新建回话窗口

　　将centos的IP填写到主机框，端口默认是22，自己修改的话就换成自己的端口

　　连接是需要输入centos的用户名和密码

　　2.反向代理

　　通过命令 cd / 进入根目录

　　创建代理软件存放的文件夹 mkdir ngrok

　　进入ngrok目录 cd ngrok

　　将linux版本的ngrok软件包下载到win7

　　xshell输入 yum install lrzsz 安装文件上传下载工具

　　输入 rz -E 确定后选择刚下载的ngrok

　　unzip linux_amd64.zip解压文件

　　进入解压后的目录 cd linux_amd64

　　编辑ngrok.xml文件vim ngrok.cfg

　　

server_addr: "tunnel.qydev.com:4443"
trust_host_root_certs: false
tunnels:
  ssh:
    remote_port: 2222
    proto:
      tcp: "22"

保存退出，这是修改后的文件内容

　　进入虚拟机里面的系统命令行

　　通过命令 ./ngrok -config=ngrok.cfg start ssh开启服务

　　其中有一行tcp://tunnel.qydev.com:2222 -> 127.0.0.1:22 

　　现在就可以新建xshell回话将主机 tunnel.qydev.com 端口2222，以及主机用户名登录系统了，外网可以访问。

到这儿，基本上的就差不多了，可以将想一起学习hadoop的朋友的电脑通过上面的配置启动起来。这就有了集群的基础---多台电脑网络间访问。