Hadoop入门1

Posted COCO xx

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hadoop入门1相关的知识,希望对你有一定的参考价值。

中杯

linux常用命令

1.目录操作

1.1 创建目录(mkdir)

​ 当前目录创建目录:

mkdir 目录名

​ 指定目录创建目录:

mkdir /指定目录/目录名

1.2 切换目录(cd)

​ 切换到根目录:

cd /

​ 切换到上一级目录:

cd …/

​ 切换到home目录:

cd ~

​ 切换到上次访问的目录:

cd -

​ 切换到本目录下的文件目录:

cd 文件夹名

​ 切换到目标目录:

cd /xxx/xx/x

1.3 查看目录(ls)

​ 查看当前目录下的所有目录文件:

ls

​ 查看当前目录下的隐藏的文件:

ls -a

​ 列表查看所有:

ls -l(相当于ll)

​ 查看指定目录下的所有目录文件:

ls /bin

1.4 删除目录(rm)

​ 递归删除当前目录下此名的目录:

rm -r 文件夹名

​ 递归删除当前目录下此名的目录(不询问):

rm -rf 文件夹名

​ 删除当前目录下所有文件和目录:

rm -rf *

​ 删库跑路:

rm -rf /*

1.5 修改目录(mv)

​ 修改目录名:

mv 当前目录名 新目录名

​ 将/xxx/xx目录下的x目录剪切到/y目录下:

mv /xxx/xx/x /y

​ 递归剪切目录中所有文件夹和文件:

mv -r/xxx/xx/x /y

1.6 拷贝目录或文件(cp)

​ 将/xxx/xx目录下的x目录复制到/y目录下:

cp /xxx/xx/x /y

​ 递归剪切复制目录中所有文件夹和文件:

cp -r/xxx/xx/x /y

1.7 搜索目录(find)

find /bin -name’a*’

1.8 查看当前目录(pwd)

pwd

2.文件操作

2.1 创建文件(touch)

​ 在当前目录创建:

touch 文件名.txt

2.2 删除文件(rm)

​ 删除当前目录下的文件:

rm 文件名

​ 删除当前目录下的文件(不询问):

rm -f 文件名

2.3 查看文件

​ 查看文件最后一屏:

cat a.txt

​ 查看文件的后100行,“Ctrl+C”退出查看:

tail -100 a.txt

2.4 打包文件

​ 多个文件压缩:

tar -zcvf a.tar 文件1 文件2

2.5 解压文件

​ 解压至当前目录:

tar -zxvf a.tar

​ 解压至指定目录:

tar -zxvf a.tar -C /xxx/xx

​ 解压zip文件:

unzip test.zip

​ 解压zip内容:

unzip -l test.zip

3.其他常用命令

3.1 关机重启

​ 立即关机:

shutdown -h now(等价于power)

​ 两分钟后关机:

shutdown -h 2

​ 立刻重启:

shutdown -r now(等价于reboot)

​ 两分钟后重启:

shutdown -r 2

3.2 切换用户(su)

​ 切换用户:

su 用户名

​ 退出用户:

exit

3.3 查看网络

​ 查看网络:

ifconfig

3.4 进程

​ 查看进程:

ps -ef

​ 杀死进程:

kill pid

​ 强制杀死进程:

kill -9 pid

4.Vi/Vim命令

4.1 关系转换

​ 正常—输入:

i,a,o,I,A,O

​ 输入—正常:ESC键

​ 正常—末行:

:

​ 退出编辑模式:Enter键

4.2 关闭文件

​ 退出:

:q

​ 不保存退出:

:q!

​ 保存:

:w

​ 强制保存:

:w!

​ 保存退出:

:wq

​ 强行保存退出:

:wq!

4.3 移动光标(正常模式)

​ 逐字符移动:

​ 左右下上:

h: l: j: k:

​ 移动n个字符:

nh:

​ 以单词为单位移动:

​ 跳至下一个单词的词首:

w:

​ 跳至词尾:

e:

​ 移动n个单词:

nw:

​ 行内跳转:

​ 绝对行首:

O:

​ 行首的第一个非空白字符:

^:

​ 绝对行尾:

$:

​ 行间跳转:

​ 第一行:

gg:

​ 最后一行:

G:

​ 跳转至第n行:

nG:

4.4 复制字符

​ 正常模式:

​ 复制当前行:

yy:

​ 复制当前行至下面的n行:

nyy:

​ 粘贴到光标的后面:

p:

​ 粘贴到光标的前面:

P:

​ 可视模式:

​ 复制当前行:

y:

​ 复制当前行至下面的n行:

ny:

​ 粘贴到光标的后面:

p:

​ 粘贴到光标的前面:

P:

4.5 删除字符

​ 删除单个字符:

X:

​ 删除n个字符:

nx:

​ 删除至行尾:

d$或D:

​ 删除至行首:

d^:

​ 删除所在行:

dd:

​ 删除n行:

ndd:

4.6 替换字符

​ 替换单个:

r:

​ 替换多个:

R:

4.7 撤销操作

​ 撤销前一次:

u:

​ 撤销n次:

nu:

大杯

虚拟机安装

1.从官网下载ISO镜像,VMware,Xshell,Xftp

2.创建虚拟机

3.选择自定义安装

4.直接选择下一步

5.选择稍后安装

6.操作系统选择Linux

7.命名虚拟机,并选择安装地址

8.处理器配置

9.选择内存

10.网络类型选择默认

11.IO类型选择默认

12.这一步也选择默认

13.直接点击下一步

14.选择磁盘内存

15.直接点击下一步

16.完成安装

17.右键单击CD/DVD

18.选择映像文件
19.开启虚拟机
20.等待开机
21.划到底选择中文
22.配置时间和语言
23.软件选择GNOME桌面,应用程序和开发工具
24.选择分区
25.打开网络
26.开始安装
27.设置密码并创建用户,密码如果过于简单,按两次完成即可
28.点击未列出,使用root用户登录,密码是刚刚设置好的
29.如果刚刚没有打开网络,则每次虚拟机开机都需要点击左上角应用程序,找到设置并打开网络

修改默认网络配置

1.查看IP,打开终端,输入

ip addr

命令,回车

2.编辑网卡文件,输入命令

vi /etc/sysconfig/network-scripts/ifcfg-ens33

回车

3.绑定静态IP,按i进入编辑模式,编辑完成后按ESC回到正常模式,按英文:,到末行模式,输入命令wq,按Enter键退出

  1. 重启网卡,使操作生效,输入命令

systemctl restart network.service

回车

修改主机名称

1.修改主机名,输入命令

vi /etc/hostname

回车

2.按i进入编辑模式,删除这一行

3.输入要修改的主机名称,按ESC键,英文:,输入wq,Enter键退出

修改主机与IP地址的映射

1.输入命令

vi /etc/hosts

回车

2.按i进入编辑模式,在编辑框输入

IP地址 主机名

绑定,按ESC键,:,输入wq按Enter键

3.重启网络生效,输入

systemctl restart network.service

回车

关闭防火墙

1.查看防火墙状态,输入命令

systemctl status firewalld.service

回车

2.停止防火墙,输入命令

systemctl stop firewalld

回车

3.禁止开机启动,输入命令

systemctl disable firewalld.service

回车

4.检查防火墙状态,输入命令

systemctl status firewalld.service

回车

XShell连接虚拟机

1.输入命令

ip addr

回车查看IP

2.主机地址即刚刚查询的IP,协议选择SFTP,端口选择22

3.选择接受并保存

4.登陆账户填写root

5.密码为刚刚设置的密码

卸载JDK

1.查看JDK版本,在XShell中输入命令

rpm -qa | grep java

回车

2.卸载JDK,输入命令

yum -y remove java*

回车

3.卸载后再次查询JDK,输入命令

rpm -qa | grep java

回车

超大杯

克隆三台虚拟机

1.左键选中要克隆的虚拟机,右键单击—管理—克隆,开始克隆,点击下一步,

2.这一步选择默认,直接下一步

3.选择创建完整克隆

4.填写虚拟机名称并选择路径,单击完成

5.按照如上过程,再创建两个,注意填写路径时不要把两个或多个虚拟机写在一个文件夹内

重新配置三台虚拟机的IP地址

重复中杯步骤

Xftp连接虚拟机

1.属性与XShell连接虚拟机相似
2.选择接受并保存
3.仍然使用root账号登陆,密码仍为之前设置的密码

4.连接后发现中文乱码

5.在属性—选项中选择UTF-8解决乱码问题##

标题

安装JDK

1.官网下载Linux版本JDK压缩包

2.Xftp连接虚拟机,Xshell连接虚拟机

3.在usr/local下新建目录java,输入命令

mkdir /usr/local/java

回车

4.通过Xftp把JDK压缩包传入虚拟机,直接拖拽,注意路径,红色箭头下一步要用到

5.解压JDK,下划线内容即上一步红色箭头


​ 解压中

6.进入安装地址查看JDK,输入命令

ls

回车

7.配置环境变量,输入命令

vi /etc/profile

回车,按i进入编辑模式,输入下列语句,按ESC,:,输入wq,按Enter键

8.让环境变量生效,输入命令

source /etc/profile

回车

9.查看JDK版本,输入命令

java -version

回车

配置三台虚拟机免密登录

1.生成公钥私钥,输入命令

ssh-keygen -t rsa

然后一路回车

2.打开配置文件,输入命令

vi /etc/hosts

回车

3.输入

IP+主机名

,点击i进入编辑模式,输入三台虚拟机的IP 主机名,按ESC键,:,输入wq,按Enter键

4.输入

ssh-copy-id+主机名

密码是你的root密码,密码不回显,输入即可

以上是关于Hadoop入门1的主要内容,如果未能解决你的问题,请参考以下文章

Hadoop入门

大数据百科全书-Hadoop入门

大数据入门必学技术之Hadoop

大数据技术之Hadoop(入门)概述运行环境搭建运行模式

大数据技术之Hadoop(入门)概述运行环境搭建运行模式

大数据第一阶段