零基础学习 Hadoop 如何下手

Posted 2020-08-20

想学习hadoop，可是苦于自己没有任何的基础，不知道该如何下手，也不知道自己能不能学会。其实零基础学习hadoop，没有想象的那么困难。曾经我也是一位小白，刚接触到云计算，想过培训，但是培训机构的选择也让我很纠结，就自己开始去摸索学习，现在我把自己的学习思路整理一下，希望对大家有帮助。

                             

首先整体说一下学习过程给大家借鉴：

一、了解hadoop：

这里不具体阐述概念，有兴趣的同学可以自己上网去查。我们知道hadoop，有单机安装，伪分布安装和分布安装。同时hadoop的环境是Linux，所以我们还需要安装Linux系统。因为我们的习惯是使用windows，所以对于Linux上来就安装软件之类的，困难度很大。并且我们要搭建集群，需要多台硬件的，不可能为了搭建集群，去买三台电脑。从成本和使用我们需要懂虚拟化方面的知识。这里的虚拟化其实就是我们需要懂得虚拟机的使用。因为hadoop安装在Linux中，才能真正发挥作用。所以我们也不会使用windows。基于以上内容。所以我们需要懂得：1.虚拟化   2.Linux   3.java基础

二、详细介绍

（一）.虚拟化
首先了解虚拟机网络分为三种：
（1）briage：桥接模式全都需要手工配置，而且这里还需要明白自己是本机拨号上网，还是路由拨号上网。
（2）host-only：创建一个与网内其他机器相隔离的虚拟系统
（3）nat：虚拟系统无法和本局域网中的其他真实主机进行通讯

这些都不适合我们的hadoop集群。hadoop要求主机与虚拟机与网络，这三者都是通的，在安装的过程中，才不会遇到麻烦，所以这就是虚拟化方面的困难。
下面总结了在虚拟化方面需要做的：

（1）.明白为什么虚拟化，虚拟化的价值

（2）.明白虚拟机的三种网络模式

（3）.掌握搭建集群的知识

上面的知识具备了我们开始动手：
第一步：下载软件：VMwareWorkstation 10.0.0简体中文正式版官方下载
第二步：下载我们就需要安装和使用。
在这里我们安装完毕虚拟机，安装完毕Linux，我们需要返回第一步，进行网络设置。但是在网络设置中，我们会遇到各种各样的困难，因为缺乏Linux知识。
同时这里补充一些虚拟化的基础知识：

（1）、虚拟网卡概述

（2）、VMware虚拟机网络设置方法 

（3）、虚拟机（Linux操作系统）三种网络模式切换遇到的问题

（二）.Linux
（1）、Linux基础知识
对于Linux的学习也是一个过程，因为可能你连最简单的开机和关机命令都不会，更不要谈配置网络。这里面给大家提供刚开始学习所查阅的资料和经验总结。
首先我们需要使用一些命令，进行网络配置，但是在网络配置中，这里面又必须懂得虚拟机的一些知识，所以前面的虚拟机知识需要掌握扎实一些。
对于网络配置：
集群搭建：主机宽带拨号上网，虚拟机使用桥接模式，该如何ping通外网
集群搭建必备：虚拟机之一实现Host-only方式上网
集群搭建必备：nat模式设置静态ip，达到上网与主机相互通信
其实还是上面三个，但是我们会遇到各种不会的命令，即使能查到命令，我们也不能使用。为什么会这样，因为各种有的命令，是需要使用安装包的。我们在配置网络过程中，同样会遇到各种各样的奇怪的配置。在我们的Linux的系统，不能找到文件。这里只举ubuntu。网络配置文件/etc/network/interfaces。我们配置完毕之后，有各种网络重启方式：

这是一种网络重启方式，但是有时候并不管用。
那么这时候我们遇到困难了，刚接触命令不起作用，该怎么办？

下面都是经过实践的内容，也算是经验，大家可以参考:

1、云技术基础：学习hadoop使用零基础linux(Ubuntu)笔记
2、搭建集群必知：Linux常用命令及修改文件总结（不断更新）

3、Linux网络接口ifconfig命令及认识网络接口lo
4、linux入门详细介绍
5、虚拟机安装linux网络配置资料大全
6、解决遇到Linux网络配置，从熟悉网络配置文件入手
7、linux入门大全：包括零基础入门，Linux详细介绍
8、Linux重启方式init 0init1 init 3 init 5 init 6 这几个启动级别都代表什么意思？
9、Ubuntu常用命令总结及修改DNS的多种方法总结
10、Linux关机各种关机命令总结
11、Linux基础必懂：eth0,eth1,eth2,lo是什么意思？
12、linux中pwd命令详解
13、linux之vi编辑器
14、linux yum命令详解
15、Linux下chkconfig命令详解

（2）、Linux安装hadoop

要部署集群，首先需要安装java，然后安装hadoop。首先我们还是从零基础开始。
    我们需要下载和本地电脑相匹配的jdk，是32位的下载32位，是64位的下载64位。这里我们从最简单的入手。在这过程中，可能遇到问题的是环境变量的配置，造成命令不能识别。而这里你需要学习新的Linux知识。不过如果前面你已经配置完网络，有了这个基础，在学习新的知识，压力明显变小了。
下面给大家分享一下，在Linux中如何安装Java和hadoop。
Hadoop安装过程：Hadoop单机环境搭建权威指南（ubuntu）
安装完毕，我们该怎么用，该怎么测试安装成功。
集群安装完毕，该如何测试和使用集群-hadoop单机
    通过上面帖子，我们很容易安装完成，如果是刚熟悉Linux，需要补充下面知识，才能顺利完成。

linux中Java jdk环境变量的含义
linux(ubuntu)安装Java jdk环境变量设置总结
Linux中source命令学习
linux文件目录特殊符号的含义，总结以备以后查询

（三）JAVA语言

（1）了解Java

Java包含下面三种

• J2EE java企业版，主要用于web开发

• J2SE java 标准版，主要用于WEB开发，但是缺少企业版的一些特性，一般情况下java下的应用都是指J2SE的开发。

• J2ME java 微小版，主要用于手机等的开发

因此如果我们想处理、并展示数据，可以使用J2EE，更详细参考
hadoop开发--Java零基础之J2EE、J2SE、J2ME的区别

（2）JAVA使用

1.环境变量配置

对于惯用集成环境的开发者来讲，这有点不适应，比如.net，安装开发环境vs，直接开发就好了，为啥还需要配置环境变量。

环境变量可以让我们找到jdk的命令，这个或许.net的一点好处，就是都封装起来了。别的不用关心了。对于环境变量，我们需要配置java_home,path路径，更详细参考：

hadoop开发--Java零基础之开发工具环境变量配置

2.开发工具选择

开发工具有很多种，不同的人习惯不同，开发工具也不一样，这里列出个人认为比较常用：

1.eclipse

2.MyEclipse

3.maven

更多工具参考hadoop开发—Java零基础,开发选择什么开发工具比较合适

而其中maven可以和eclipse一起使用，也可以单独使用，后面开发中它还是比较常用的，比如我们下载hadoop源码，编译hadoop，都是需要maven来完成的。maven的学习可以参考

源码编译maven系列视频教程汇总

3.Java编译

Java可以一处编译处处运行，原因是因为jvm。编译后的效果，可以查看：

Java零基础，学习hadoop：为什么要编译Java源代码，编译后会有什么效果

4.如何打开Java项目

Java项目的开发，还是比较特别的，是通过导入的方式，折合其它比如.net项目，直接点击图标就能打开，Java项目，例如通过eclipse的import导入，详细参考：零基础教你如何导入Java项目到eclipse中

5.Java资源下载：

上面补充了一些基本的知识，可能还不够全面，如果缺少这方面的知识，自己可以上网去查找相关视频文件。

    以上就是编者根据自己经验总结的一些学习方法，如果还有不清楚或者不明白的地方，可以自己找一些资料去补充，不断丰富和提升自己。这里可以推荐大家去查看微信服务号“大数据时代学习中心”，里面有很多免费的视频共享资源，可以去下载学习，我本人感觉还不错，尤其是针对一些细节性的讲解都很清楚，希望对大家也有帮助。

本文出自 “11872756” 博客，谢绝转载！