大数据概论和Linux虚拟机安装

Posted 2023-01-17 爱学习的IT民工

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了大数据概论和Linux虚拟机安装相关的知识，希望对你有一定的参考价值。

大数据概论和Linux虚拟机安装

大数据导论

数据是什么

数据是指对客观事件进行记录并可以鉴别的符号，是对客观事物的性质、状态以及相互关系等进行记载的物理符号或这些物理符号的组合，它是可识别的、抽象的符号。

它不仅指狭义上的数字，还可以是具有一定意义的文字、字母、数字符号的组合、图形、图像、视频、音频等，也是客观事物的属性、数量、位置及其相互关系的抽象表示。例如，“0、1、2…”、“阴、雨、下降”、“学生的档案记录、货物的运输情况”等都是数据。

数据如何产生

对客观事物的计量和记录产生数据

数据分析方向

现状分析（分析当下的数据）：现阶段的整体情况，各个部分的构成占比、发展、变动
原因分析（分析过去的数据）：某一现状为什么发生，确定原因，做出调整优化

预测分析（结合数据预测未来）：结合已有数据预测未来发展趋势

数据分析步骤
- 明确需求
- 数据收集
- 数据处理
- 数据分析
- 数据展示

VM虚拟机安装和配置

开始安装

安装完成输入许可证

生成许可证（在当时安装包的同名的目录下）

选择版本并生成许可证

复制生成好的序列号

将生成好的序列号粘贴到vmware里

安装完成

Centos操作系统安装

系统的安装得分两个步骤，第一步得配置一台电脑，选配CPU，内存，磁盘，网卡等硬件。第二步才是安装系统。

配置电脑

进入VMware

自定义新的虚拟机

解决虚拟机的兼容性

选择当前虚拟机的操作系统

我们先配置电脑，再安装系统。

选择虚拟机将来需要安装的系统

因为不同的操作系统需要解决不同的兼容性问题，所以需要选择将来用什么系统，提前做适配。

配置电脑

给自己配置电脑取个名字，并存放在物理机的位置在哪。

选择CPU的个数

有个原则就是选满（跟物理机的CPU个数相同，但是不能超过）

查看物理机CPU个数（Windows10为例）
设置虚拟机处理器的数量

设置虚拟机的内存

内存大小有一定要求，建议4G，不能给太多，后期会有多台虚拟机同时启动

选择虚拟机上网方式

选择NAT的方式

没有VMware之前物理机的网络适配器信息（每个人不同，我只有3个）
安装VMware之后物理机的网络适配器信息（会多两个vmnet1和vmnet8）

注：vmnet8是虚拟机使用NAT模式上网的网卡

选择对应的文件系统的IO方式

选择磁盘的类型

选择磁盘的种类

选择虚拟机的磁盘大小

虚拟机文件的存放位置

电脑配置完毕

安装系统

注意：在安装系统之前需要检查自己虚拟机的bios的虚拟化是否打开（大部分的电脑都是打开的，大家可以先尝试直接安装，如果出现错误再去调试，没有出错就不用管了）

以下是查看虚拟机bios是否开启的方式

window10

window7里面看不到（得去bios里面看）
如果发现bios虚拟化没有开启怎么办，重启电脑，在加载界面时按f1-f10,或者电脑旁边一个小洞，具体怎么进入得去查一下（按照自己电脑的型号去查）
修改虚拟化为开启（thinkpad为例）找到security 里面的VT并改成enabled

注：如果虚拟化没有开启报的是以下错误

选择cd/dvd的方式安装系统

系统安装引导界面

你得需要将鼠标点击进入界面中，但是鼠标会消失，你此刻得用键盘的上下键来控制选项，图标变白了表示当前选中的是哪个选项，然后敲回车，表示执行所选选项。

注意：如果这个时候你需要鼠标可以使用ctrl+alt一起按呼出鼠标

耐心等待它的安装

会自动跳转下面的界面

需要定制化的内容

按照编号依次点击

调整时间差

安装GHOME（图形化界面的方式）注意图上标注的点击顺序

配置磁盘分区

（1）手动添加分区

（2）添加boot区给上1G容量后点击添加挂载点

（3）添加swap交换分区

（4）配置根(/)目录

根目录作为存储使用，将剩下的空间都给他（50 - 4 - 1）= 45

3个分区都配置完毕过后可以点击完成

（5）分区配置完毕，点击接受更改

（6）关闭kdump本身虚拟机内存就不够，他会吃掉一部分内存，我们尽量省一点

（7）修改主机名

（8）是否打开安全协议（开启与否都可以）

（9）开始安装

（10）安装时间比较长，大概需要10几分钟（设置root****用户密码，一定要设置）

虚拟机的使用引导界面

1） 安装完成 重启虚拟机

2）进入引导界面（以下内容就按照图片走，就不做过多解释）**

切换root用户

当前登录的用户是刚刚创建的用户，权限会缺少，所以使用root，修改一些内容更加方便

1）切换root用户

刚才的引导再来一遍（就不再放图片了）

最后的用户变成root表示切换成功

网络配置(重点)

对安装好的VMware进行网络配置，方便虚拟机连接网络，

本次设置建议选择NAT模式，需要宿主机的Windows和虚拟机的Linux能够进行网络连接，同时虚拟机的Linux可以通过宿主机的Windows进入互联网。

编辑VMware的网络配置

然后全部点击确定，VMware的网络配置就好了。

Windows的网络配置

以下以Window10为例

1）找到

按如上格式修改IP信息（地址，网关，DNS服务器），修改完毕后全部点击确定退出。

虚拟机网络IP修改地址配置

1）修改网络IP地址为静态IP地址，避免IP地址经常变化，从而方便节点服务器间的互相通信。

vim /etc/sysconfig/network-scripts/ifcfg-ens33

2）以下加粗的项必须修改，有值的按照下面的值修改，没有该项的则需要增加。

BOOTPROTO=“static”

IPADDR=192.168.10.100

GATEWAY=192.168.10.2

DNS1=192.168.10.2

TYPE="Ethernet"    #网络类型（通常是Ethemet）
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static"   #IP的配置方法[none|static|bootp|dhcp]（引导时不使用协议|静态分配IP|BOOTP协议|DHCP协议）
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"   
UUID="e83804c1-3257-4584-81bb-660665ac22f6"   #随机id
DEVICE="ens33"   #接口名（设备,网卡）
ONBOOT="yes"   #系统启动的时候网络接口是否有效（yes/no）
#IP地址
IPADDR=192.168.10.100  
#网关  
GATEWAY=192.168.10.2      
#域名解析器
DNS1=192.168.10.2

3）修改IP地址后的结果如图所示，执行“:wq”命令，保存退出

4）执行systemctl restart network命令，重启网络服务。如果报错，则执行“reboot”命令，重启虚拟机

systemctl restart network

5）使用ifconfig命令查看当前IP

ifconfig

6）保证Linux系统ifcfg-ens33文件中IP地址、虚拟网络编辑器地址和Windows系统VM8网络IP地址相同

修改主机名和hosts文件

1）修改主机名称

vim /etc/hostname

2）配置Linux克隆机主机名称映射hosts文件，打开/etc/hosts

vim /etc/hosts

192.168.10.100 hadoop100

192.168.10.101 hadoop101

192.168.10.102 hadoop102

192.168.10.103 hadoop103

192.168.10.104 hadoop104

192.168.10.105 hadoop105

192.168.10.106 hadoop106

192.168.10.107 hadoop107

192.168.10.108 hadoop108

3）重启克隆机hadoop102

reboot

4）修改windows的主机映射文件（hosts文件）

进入C:\\Windows\\System32\\drivers\\etc路径
打开hosts文件并添加如下内容，然后保存

192.168.10.100 hadoop100

192.168.10.101 hadoop101

192.168.10.102 hadoop102

192.168.10.103 hadoop103

192.168.10.104 hadoop104

192.168.10.105 hadoop105

192.168.10.106 hadoop106

192.168.10.107 hadoop107

192.168.10.108 hadoop108