大数据 Linux实验环境准备
Posted zxy151
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了大数据 Linux实验环境准备相关的知识,希望对你有一定的参考价值。
课时4 安装VM
学习环境:虚拟机,CentOS系统(文件,可以拷贝)
安装部署实验环境
学习环境:虚拟机,CentOS系统(文件,可以拷贝)
安装部署实验环境
课时5 安装CentOS的准备工作
CentOS 6.8版本 vm
1.虚拟机的网络连接三种方式
桥接模式:
好处:大家都在同一个网段,相互可以通讯
缺点:ip地址有限,可能造成ip冲突
NAT模式:网络地址转换模式
好处:虚拟机不占用其他的ip,所以不会冲突
缺点:内网的其他人不能和虚拟机通讯。
仅主机模式
单独的一台电脑。
CentOS 6.8版本 vm
1.虚拟机的网络连接三种方式
桥接模式:
好处:大家都在同一个网段,相互可以通讯
缺点:ip地址有限,可能造成ip冲突
NAT模式:网络地址转换模式
好处:虚拟机不占用其他的ip,所以不会冲突
缺点:内网的其他人不能和虚拟机通讯。
仅主机模式
单独的一台电脑。
课时6 安装CentOS 的步骤
install or upgrade an existing system
skip
中国简体
美国英语式
基本存储设备
是,忽略所有数据
主机名:hadoop01
根密码
(在百度上可以生成复杂密码,生成随机密码,密码生成器,复杂密码)
创建自定义布局
创建分区(标准分区)
(1.挂载点:/boot 大小:200,固定大小
2.挂载点不填,文件系统类型:swap。大小:2048,固定大小
3.挂载点:/,使用全部可用空间。)
格式化
将修改写入磁盘
现在自定义
基本系统:兼容程序库,基本,调试工具
应用程序:互联网浏览器
桌面:默认
语言支持:中文
其他都不要
暂时不创建用户,不订阅
install or upgrade an existing system
skip
中国简体
美国英语式
基本存储设备
是,忽略所有数据
主机名:hadoop01
根密码
(在百度上可以生成复杂密码,生成随机密码,密码生成器,复杂密码)
创建自定义布局
创建分区(标准分区)
(1.挂载点:/boot 大小:200,固定大小
2.挂载点不填,文件系统类型:swap。大小:2048,固定大小
3.挂载点:/,使用全部可用空间。)
格式化
将修改写入磁盘
现在自定义
基本系统:兼容程序库,基本,调试工具
应用程序:互联网浏览器
桌面:默认
语言支持:中文
其他都不要
暂时不创建用户,不订阅
课时7 CentOS 终端和联网的说明
虚拟机终端中可以自定义设置如颜色,背景
eth0:物理网卡
查看物理机ip
虚拟机开启system eth0,nat模式,自动分配和物理机新的地址同一网段的ip,可以上网
可以ping通物理机
注:在centos的火狐可以上网,可以和外部的ip联通
是通过简单的动态的分配ip
虚拟机终端中可以自定义设置如颜色,背景
eth0:物理网卡
查看物理机ip
虚拟机开启system eth0,nat模式,自动分配和物理机新的地址同一网段的ip,可以上网
可以ping通物理机
注:在centos的火狐可以上网,可以和外部的ip联通
是通过简单的动态的分配ip
课时8 文件系统目录结构
/根目录(只有一个)
往下划分
1.Linux的文件系统采用级层式的树状目录结构,在此结构钟的最上层是根目录“/”,然后再次目录下在创建
其他的目录。
2.在Linux的世界里,一切皆文件
3.根下有
/root、/bin、/boot、/etc、/home、/lib、/usr、/media........
4.虚拟机桌面打开计算机,文件系统,就可以了解
5.
/bin:Binary,存放最经常使用的命令
/sbin:s就是Super User,系统管理员使用的系统管理程序
/home:存放普通用户的主目录,每个用户都有一个目录,目录名是以用户的账号命名。
添加一个用户,在终端,useradd tom
/root:系统管理员,也称超级权限者的用户主目录。
/lib:系统开机所需要的最基本的动态连接共享库,作用类似于Windows里的DDL文件。几乎所有的应用程序
都需要用到这些共享库。
/lost+found:一般情况下是空的,当系统非法关机后,这里就会存放文件。
/etc:所有的系统管理所需要的配置文件和子目录。
/usr:非常重要,用户的很多应用程序和文件都放在这个目录下,类似于windows下的program files目录
/boot:存放的是启动Linux时使用的一些核心文件,包括一些连接文件以及镜像文件。
/proc:是一个虚拟的目录,是系统内存的映射,访问这个目录来获取系统信息。(别动)
/srv:service的缩写,该目录存放一些服务启动之后需要提取的数据。(别动)
/sys:这时linux2.6内核的一个很大变化。该目录下安装了2.6内核中新出现的一个文件系统sysfs(别动)
/tmp:用来存放一些临时文件。
/dev:类似于windows的设备管理器,把所有的硬件用文件的形式存储。
/media:Linux系统会自动识别一些设备。例如U盘、光驱等,当识别后,Linux会把识别的谁被挂载到这个
目录下。
/mnt:系统提供该目录是为了让用户临时挂载别的文件系统,可以将外部的存储挂载到/mnt/上,然后进入
该目录就可以查看里面的内容
/opt:给主机额外安装所摆放的目录,如安装ORACLE数据库就可以放到该目录下。默认为空。
/usr/local:给另一个主机额外安装软件所安装的目录。一般是通过编译源码方式安装的程序。
/var:存放着不断扩充的东西,习惯将经常被修改的目录放在这个目录下。
/selinux(security-enhanced):selinux是一种安全子系统,他能控制程序只能访问特定文件。
总:1.linux的目录中只有一个根目录
2.目录存放的内容是规划好的,不用乱放文件。
3.以文件形式管路设备
4.各个目录存放内容
5.知道Linux目录树
/根目录(只有一个)
往下划分
1.Linux的文件系统采用级层式的树状目录结构,在此结构钟的最上层是根目录“/”,然后再次目录下在创建
其他的目录。
2.在Linux的世界里,一切皆文件
3.根下有
/root、/bin、/boot、/etc、/home、/lib、/usr、/media........
4.虚拟机桌面打开计算机,文件系统,就可以了解
5.
/bin:Binary,存放最经常使用的命令
/sbin:s就是Super User,系统管理员使用的系统管理程序
/home:存放普通用户的主目录,每个用户都有一个目录,目录名是以用户的账号命名。
添加一个用户,在终端,useradd tom
/root:系统管理员,也称超级权限者的用户主目录。
/lib:系统开机所需要的最基本的动态连接共享库,作用类似于Windows里的DDL文件。几乎所有的应用程序
都需要用到这些共享库。
/lost+found:一般情况下是空的,当系统非法关机后,这里就会存放文件。
/etc:所有的系统管理所需要的配置文件和子目录。
/usr:非常重要,用户的很多应用程序和文件都放在这个目录下,类似于windows下的program files目录
/boot:存放的是启动Linux时使用的一些核心文件,包括一些连接文件以及镜像文件。
/proc:是一个虚拟的目录,是系统内存的映射,访问这个目录来获取系统信息。(别动)
/srv:service的缩写,该目录存放一些服务启动之后需要提取的数据。(别动)
/sys:这时linux2.6内核的一个很大变化。该目录下安装了2.6内核中新出现的一个文件系统sysfs(别动)
/tmp:用来存放一些临时文件。
/dev:类似于windows的设备管理器,把所有的硬件用文件的形式存储。
/media:Linux系统会自动识别一些设备。例如U盘、光驱等,当识别后,Linux会把识别的谁被挂载到这个
目录下。
/mnt:系统提供该目录是为了让用户临时挂载别的文件系统,可以将外部的存储挂载到/mnt/上,然后进入
该目录就可以查看里面的内容
/opt:给主机额外安装所摆放的目录,如安装ORACLE数据库就可以放到该目录下。默认为空。
/usr/local:给另一个主机额外安装软件所安装的目录。一般是通过编译源码方式安装的程序。
/var:存放着不断扩充的东西,习惯将经常被修改的目录放在这个目录下。
/selinux(security-enhanced):selinux是一种安全子系统,他能控制程序只能访问特定文件。
总:1.linux的目录中只有一个根目录
2.目录存放的内容是规划好的,不用乱放文件。
3.以文件形式管路设备
4.各个目录存放内容
5.知道Linux目录树
课时9 远程登录XShell5
1.远程登录的原因
Linux服务器是开发小组共享的
正式上线的项目是运行在公网的
因此程序员需要远程登录到centos进行项目管理或开发。
远程登录的客户端软件有Xshell5,Xftp5,
2.Xshell是目前最好的远程登录到Linux操作的软件,流畅的速度并启完美解决了中文乱码的问题,是目前
程序员首选软件。
是一个强大的安全终端模拟软件,支持SSH1,SSH2,以及Microsoft Windows平台的TELNET协议。
可以在Windows界面下用来访问远端不同系统下的服务器,从而比较好的达到远程控制终端的目的。
3.使用Xshell时,需要Linux开启一个sshd服务,该服务监听22端口
终端 setup 系统服务,带有*证明开启
4.安装Xshell并尝试使用
分配ip地址:192.168.112.128
新建会话
名称:192.168.112.128
协议:SSH
主机:192.168.112.128
连接
接收并保存
用户名:root
输入密码
可以自己配置背景字体
cd/home
ll
touch hello
在虚拟机home文件夹中查看
1.远程登录的原因
Linux服务器是开发小组共享的
正式上线的项目是运行在公网的
因此程序员需要远程登录到centos进行项目管理或开发。
远程登录的客户端软件有Xshell5,Xftp5,
2.Xshell是目前最好的远程登录到Linux操作的软件,流畅的速度并启完美解决了中文乱码的问题,是目前
程序员首选软件。
是一个强大的安全终端模拟软件,支持SSH1,SSH2,以及Microsoft Windows平台的TELNET协议。
可以在Windows界面下用来访问远端不同系统下的服务器,从而比较好的达到远程控制终端的目的。
3.使用Xshell时,需要Linux开启一个sshd服务,该服务监听22端口
终端 setup 系统服务,带有*证明开启
4.安装Xshell并尝试使用
分配ip地址:192.168.112.128
新建会话
名称:192.168.112.128
协议:SSH
主机:192.168.112.128
连接
接收并保存
用户名:root
输入密码
可以自己配置背景字体
cd/home
ll
touch hello
在虚拟机home文件夹中查看
课时10 远程传输文件XFTP5
1.是一个基于windows平台的功能强大的SFTP、TTP文件传输软件。使用了Xftp以后,windows用户能安全
地在UNIX/Linux和windows PC之间传输文件。
安装 配置 使用
新建会话
名称:192.168.112.128(也可些别的如测试)
主机:192.168.112.128
协议:SFTP
端口号:22
用户名:root
密码
解决乱码:
2.属性,选项,使用UTF-8编码,确定,刷新
右键,可以传输文件图片
1.是一个基于windows平台的功能强大的SFTP、TTP文件传输软件。使用了Xftp以后,windows用户能安全
地在UNIX/Linux和windows PC之间传输文件。
安装 配置 使用
新建会话
名称:192.168.112.128(也可些别的如测试)
主机:192.168.112.128
协议:SFTP
端口号:22
用户名:root
密码
解决乱码:
2.属性,选项,使用UTF-8编码,确定,刷新
右键,可以传输文件图片
课时11 CRT安装使用
sessions 新建会话
主机名:192.168.112.128
用户名:root
其他不变
会话名称:Hadoop01
如果有乱码:则绘画选项,外观,字符编码,UTF-8
sessions 新建会话
主机名:192.168.112.128
用户名:root
其他不变
会话名称:Hadoop01
如果有乱码:则绘画选项,外观,字符编码,UTF-8
课时12 Vi 和Vim的使用
1.vin具有程序编辑的能力,可以看作时vi的增强版本,可以主动的以字体颜色辨别语法的正确性,方便你程序
设计。代码补充、编辑及错误跳转等方便编程的功能特别丰富。
2.vi编辑器
3.三种常见模式
正常模式:可以使用快捷键
插入模式/编辑模式:程序员可以输入内容
命令行模式:可以提供相关指令,完成读取、存盘、替换、离开vim、显示引号等动作。
4.开发一个hello.java程序。
5.命令
最末行[G]最首行:[gg]
撤销:u(正常模式)
移动到第二十行
shift+g(第一步显示行号set nu,第二部输入20,第三部输入shift+g)
1.vin具有程序编辑的能力,可以看作时vi的增强版本,可以主动的以字体颜色辨别语法的正确性,方便你程序
设计。代码补充、编辑及错误跳转等方便编程的功能特别丰富。
2.vi编辑器
3.三种常见模式
正常模式:可以使用快捷键
插入模式/编辑模式:程序员可以输入内容
命令行模式:可以提供相关指令,完成读取、存盘、替换、离开vim、显示引号等动作。
4.开发一个hello.java程序。
5.命令
最末行[G]最首行:[gg]
撤销:u(正常模式)
移动到第二十行
shift+g(第一步显示行号set nu,第二部输入20,第三部输入shift+g)
课时13 关机重启注销
1.shutdown -h now 立刻进行关机
shutdown -h 1 “hello,一分钟后就会关机了”
shutdown -r now 现在重新启动计算机
halt 关机
reboot 现在重启
sync 把内存的数据同步到磁盘
注:不管是重启还是关闭,首先运行sync,把内存中的数据写到磁盘中。
2.
su-用户名切换
提示符下logout可注销用户
注:;logout在图形运行级别无效,在运行级别3下有效。
1.shutdown -h now 立刻进行关机
shutdown -h 1 “hello,一分钟后就会关机了”
shutdown -r now 现在重新启动计算机
halt 关机
reboot 现在重启
sync 把内存的数据同步到磁盘
注:不管是重启还是关闭,首先运行sync,把内存中的数据写到磁盘中。
2.
su-用户名切换
提示符下logout可注销用户
注:;logout在图形运行级别无效,在运行级别3下有效。
以上是关于大数据 Linux实验环境准备的主要内容,如果未能解决你的问题,请参考以下文章