大数据学习初体验:Linux学习+Shell基础编程+hadoop集群部署

Posted g-cl

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了大数据学习初体验:Linux学习+Shell基础编程+hadoop集群部署相关的知识,希望对你有一定的参考价值。

距离上次博客时间已经9天,简单记录下这几天的学习过程

2020-02-15 10:38:47


一、Linux学习

关于Linux命令,我在之前就已经学过一部分了,所以这段时间的linux学习更多的是去学习Linux系统的安装以及相关配置多一些,命令会一些比较常用的就够了,下面记录下安装配置Linux系统时的注意事项。

 

技术图片

 

 

 这里配置的虚拟机的内存为4g

使用的 CentOS-6.5-x86_64-minimal.iso 映射文件

在进入linux系统中时,需要将虚拟机的主机名修改成自己想要的名字,还要配制好网络与IP

#cat查看 vi编辑 修改
cat /etc/sysconfig/network
vi /etc/sysconfig/network

技术图片

 

 

 

 网络参数配置

 

 

 

vi /etc/sysconfig/network-scripts/ifcfg-eth0

需要修改一下几个地方

技术图片

 

 

 

 

  • ONBOOT=yes: 表示启动这块网卡
  • BOOTPROTO=static:表示静态路由协议,可以报错IP固定
  • HWADDR:表示虚拟机MAC地址,需要与当前虚拟机MAC地址一致
  • IPADDR:表示虚拟机的IP地址
  • GATEWAY:表示虚拟机网关,通常都是将IP地址最后一个位数变为2
  • NETMASK:便是虚拟机子网掩码,通常都是255.255.255.0
  • DNS1:表示域名解析器,此处采用Google提供的免费DNS服务器8.8.8.8(也可以设置w为PC端电脑对应DNS)

HWADDR查找位置如下

技术图片

 

 技术图片

 

 将这个MAC地址复制即可。

 

接下来寻找IP地址的区间

技术图片

 

 技术图片

 

 我的IP地址只能是在192.168.42.128 - 192.168.42.254 这个区间

GATEWAY的取值通常是xxx.xxx.xx.2 我的是192.168.42.2

配制好之后,执行 reboot 命令,重启虚拟机,使用 ifconfig 命令查看ip信息

技术图片

 

最后在本地网络连接中WLAN共享网络

即可访问网络

技术图片

 

 

技术图片

 

 输入命令 ping www.baidu.com

技术图片

 

 此时,就是虚拟机就可以上网了。

二、Shell编程

这里推荐几个网址进行shell学习

https://www.runoob.com/linux/linux-shell.html

https://blog.csdn.net/weixin_45093060/article/details/94594130

https://blog.csdn.net/happiness_llz/article/details/82809789

http://c.biancheng.net/shell/

三、hadoop集群部署

第一次接触hadoop,部署了两天才部署成功,此过程是相当煎熬的(T_T)/~~

这里也只是简单写出我认为比较麻烦的步骤与需要注意的地方。

1.ssh免密登录功能的配置

!需要在每台虚拟机上都操作一遍

ssh-keygen -t rsa  #创建密钥

ssh-copy-id hadoop02  #分享到免密登录的虚拟机

2.在执行一个jar包时,可能会出现系统内存和资源分配不足的情况而无法将任务执行完,卡死

或者是nodemanager节点无法启动 || 启动后自动结束的情况

在 yarn-site.xml 中添加

 

    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>2048</value>
    </property>


    <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>2048</value>
    </property>


    <property>
        <name>yarn.nodemanager.resource.cpu-vcores</name>
        <value>1</value>
    </property>

已上这些代码,可以解决这些问题。

 

以上是关于大数据学习初体验:Linux学习+Shell基础编程+hadoop集群部署的主要内容,如果未能解决你的问题,请参考以下文章

我的Go+语言初体验——零基础学习 Go+ 爬虫

Python大数据与机器学习之NumPy初体验

吉林网络运维学习都需要会啥?没基础可以吗?

大数据学习路线,从Linux基础到大型网站高并发处理项目实战

零基础大数据新手学习路线教程

Python初体验