大数据实战之最全的Linux命令

Posted 2021-07-31 小码良

1、操作文件和目录

1.1、显示命令

命令格式：ls  [- 选项]  [参数]

选项	含义
-a	列举目录中的全部文件，包括隐藏文件
-l	列举目录中细节，包括权限、所有者、组群、大小、创建日期、文件是否是链接等
-f	列举的文件显示文件类型
-r	逆向，从后向前地列举目录中内容
-R	递归，该选项递归地列举当前目录下所有子目录内的内容
-s	大小，按文件大小排序
-lh	以人类可读的方式显示文件的大小，如用 K、M、G 作单位

1.2 目录转移

命令格式：cd  [参数]

cd 命令用来改变所在目录。

cd /转到根目录中

cd ~转到/home/user 用户目录下

cd /usr  转到根目录下的 usr 目录中绝对路径

cd test  转到当前目录下的test 子目录中相对路径

cd ..  返回上一层目录

1.3 打印工作目录

命令格式：pwd

输入 pwd 命令，Linux 会输出当前目录。

1.4 创建目录

命令格式：mkdir (-p)  [参数]

mkdir /data/zll

在绝对路径/data下创建zll的文件夹

mkdir -p /data/test/zll

递归创建，因为我/data下没有test文件，所以使用-p就可以直接递归创建。

mkdir /data/test /data/dev

可以一次创建多个目录。

1.5 创建文件

命令格式： touch 文件名

1.6 删除文件/目录

命令格式： rm [-rf ] 文件/目录

-r: 删除目录

-f: 强制执行

rm -r /data/test/

删除目录，rm -rf 强制删除，不用判断y

1.7 复制文件/目录

命令格式： cp -rp [源文件] [目标文件]

-r 复制目录   

-p 保留文件属性（时间属性等等）

选项	含义
-i	互动：如果文件将覆盖目标中的文件，他会提示确认
-r	递归：这个选项会复制整个目录树、子目录以及其他
-v	详细：显示文件的复制进度

cp -r /data/test/ /data/prod

如果复制到没有的文件夹，会自动创建

1.8 移动文件/目录

命令格式： mv [旧文件名] [新文件名]

mv /data/test/ipTest /data/dev/ 

移动文件的位置

mv /data/test/a.py /data/test/p.py

文件重命名

2、阅读文件命令

2.1 vim

命令格式：vim 文件名

查看文件全部内容

文件底部：Shift+G（快捷方式）

查询某个字符：输入  /字符

2.2 head、tail

命令格式： head/tail -n [数字] 文件路径

head -n 2 azkaban_test.sh 查看前2行

tail -n 2 azkaban_test.sh  查看后2行，如果未指定数字则默认显示10行。

tail –f test.sh 控制台实时监控文章的内容

2.3 cat

命令格式：cat 文件名

cat azkaban_test.sh | grep test 筛选含有‘test’字符的行

grep Test azkaban_test.sh | grep py多条件筛选，筛选含有‘Test’和‘py’字符的行

2.4 more/less

命令格式：more [选项] [fileNames]

选项	含义
-num	一次显示的行数
-d	提示使用者，在画面下方显示[Press space to continue, q  to quit.]，如果使用者按错键，则会显示[Press h for instructions.]而不是哔声
-f	计算行数时，以实际上的行数，而非自动换行过后的行数(有些单行字数太 长的会被扩展为两行或两行以上)
-p	不以卷动的方式显示每一页，而是先清除萤幕后再显示内容
-c	跟-p 相似，不同的是先显示内容再清除其他旧资料
-s	当遇到有连续两行以上的空白行，就代换为一行的空白行
-u	不显示下引号(根据环境变数 TERM 指定的 terminal 而有所不同)
+/	在每个档案显示前搜寻该字串(pattern)，然后从该字串之后开始显示
+num	从第 num 行开始显示
fileNames	欲显示内容的档案，可为复数个数

more 和 less 的主要区别是，less 允许使用箭头来前后移动，而 more 使用空格键和b 键来前后移动。

来列举/etc 目录下的内容：

ls –al /etc | more

要使用 more 在文本文件中搜索关键字

按/键并输入命令搜索条目：/foo 

使用空格键来先前翻阅页码

按 q 键退出。

more -s testfile 逐页显示 testfile 之档案内容，如有连续两行以上空白行则以一行空白行显示。

more +20 testfile 从第 20 行开始显示 testfile 之档案内容。

3、磁盘空间查询命令

3.1 df命令

命令格式：df [选项] 

参数	含义
-a	把全部的文件系统和各分区的硬盘使用情形列出来，包括 0 区块的，例如/proc 这个文件系统
-i	列出 I-nodes 的使用量
-k	把各分区的大小和挂上来的文件分区的大小用 k 表示
-t	列出某一文件系统的所有分区磁盘空间使用量
-x	列出不是某一文件系统的所有分区磁盘空间使用量，和-t 选项相反
-T	列出每个分区所属文件系统的名称
-h	查看每个根路径的分区大小
-hl	查看磁盘剩余空间

3.2 du命令

命令格式：du [选项] [目录名]

参数	含义
-sh	返回该目录的大小
-sm	返回该文件夹总M数
-h	查看指定文件夹下的所有文件大小（包含子文件夹）更新详细命令文档

3.3 mount/umount 命令

命令格式：mount –t  [设备类型] [存放目录]

参数	含义
无	不加任何参数，直接输入命令可以显示已挂载的文件系统和目录
-a	挂上/etc/fstab 下的全部文件系统
-t	制定所挂上来的文件系统的名称，所有系统支持的文件系统，这个信息可以在 /proc/filesystems 这个文件里看到
-n	挂上文件系统，但是不把文件系统的数据写入/etc/mtlab 这个文件
-w	将文件系统设为可读写
-r	挂上来的文件系统设为只读

mount 命令的功能是挂载文件系统，可以挂载硬盘、光盘、软盘，也可以挂载NFS 网络文件系统.

umount 命令的功能是卸载已挂上的文件系统，在关闭系统前应该把所有挂载上的文件系统卸载。这个命令和 mount命令是相对的

3.4 fsck 命令

命令格式：fsck (选项) [分区名称]

选项	含义
-a	自动修复文件系统，不询问任何问题，比较危险
-A	依照/etc/fstab配置文件的内容，检查该文件内所列全部文件系统。若没有附加参数"-P”，则会先检查/目录的文件系统，而不会同时检查所有文件系统
-R	采取互动方式，在修复时询问问题，让用户确认并决定处理方式
-S	依次检查作业而不是同时执行。当依次指定多个文件系统且采用互动的方式进行检查时，请使用此参数以便顺序执行，否则fsck 可能会同时询问数个问题，让人不知所措
-V	显示命令执行的过程
-T	指定要检查的文件系统的类型
-N	不是真正执行指令，仅列出实际执行时会进行的动作

fsck 命令的功能是检查和修复 Linux 文件系统，这个命令最好在没有人或是没有分区挂上来时使用，其实每次开机系统都会做一次检查，看是否有坏轨或数据流失的现象

3.5 其他

查看硬盘的分区：fdisk -l

查看IDE硬盘信息：hdparm -i /dev/hda

查看STAT硬盘信息：hdparm -I /dev/sda 或 apt-get install blktool 或 blktool /dev/sda id

4、内存相关命令

4.1 free命令

命令格式：free (-h) 

free -h 以更友好的方式显示，会以K、M、G为单位来显示

free -h -s 3 以一定时间间隔重复的输出，这个命令是每3秒输出一次

free -m 查看内存使用情况

free样例：

下面是对内存查看free命令输出内容的解释：

total:总计物理内存的大小。

used:已使用多大。

free:可用有多少。

Shared:多个进程共享的内存总额。

Buffers/cached:磁盘缓存的大小。

4.2 top命令

命令格式：top [选项]

选项	含义
d	指定每两次屏幕信息刷新之间的时间间隔
p	通过指定监控进程ID来仅仅监控某个进程的状态
q	该选项将使top没有任何延迟的进行刷新
S	指定累计模式
s	使top命令在安全模式中运行
i	使top不显示任何闲置或者僵死进程
c	显示整个命令行而不只是显示命令名

top样例：

列名	含义
PID	进程id
PPID	父进程id
RUSER	Real user name
UID	进程所有者的用户id
USER	进程所有者的用户名
GROUP	进程所有者的组名
TTY	启动进程的终端名。不是从终端启动的进程则显示为 ?
PR	优先级
NI	nice值。负值表示高优先级，正值表示低优先级
P	最后使用的CPU，仅在多CPU环境下有意义
%CPU	上次更新到现在的CPU时间占用百分比
TIME	进程使用的CPU时间总计，单位秒
TIME+	进程使用的CPU时间总计，单位1/100秒
%MEM	进程使用的物理内存百分比
VIRT	进程使用的虚拟内存总量，单位kb。VIRT=SWAP+RES
SWAP	进程使用的虚拟内存中，被换出的大小，单位kb。
CODE	可执行代码占用的物理内存大小，单位kb
DATA	可执行代码以外的部分(数据段+栈)占用的物理内存大小，单位kb
RES	进程使用的、未被换出的物理内存大小，单位kb。RES=CODE+DATA
SHR	共享内存大小，单位kb
nFLT	页面错误次数
nDRT	最后一次写入到现在，被修改过的页面数。
S	进程状态(D=不可中断的睡眠状态,R=运行,S=睡眠,T=跟踪/停止,Z=僵尸进程)
COMMAND	命令名/命令行
WCHAN	若该进程在睡眠，则显示睡眠中的系统函数名
Flags	任务标志，参考sched.

4.3 其他

cat /proc/cpuinfo 查看linux系统的CPU型号、类型以及大小

cat /proc/meminfo 查看linux系统内存大小的详细信息，可以查看总内存，剩余内存、可使用内存等信息

5、进程和端口相关命令

5.1 ps命令

ch

ps -ef|  grep [端口号]

5.2 netstat命令

查看端口进程：

netstat -anlp | grep [端口号]

netstat -anpt | grep [端口号]

netstat -nlp | grep [端口号]

查看哪些端口被打开:

netstat -anp

5.3 lsof命令

查看端口号：

lsof -i:[端口号]

5.4 yarn进程处理

1）杀掉YARN上面的任务

yarn application -kill appid

2）查看各个程序进程内存使用的内存情况

ps -eo pmem,pcpu,rss,vsize,args | sort -k 1 -r | less

5.5 杀死僵尸进程

直接kill -9 进程号 可能杀不掉

需要找到它的父进程，进行杀掉，然后在看有没有

ps -ef | grep defunct | more

如果还有的话，需要重启一下服务器

5.6 其他

ll /proc/进程ID/cwd    查看进程

pwdx [进程id]    查看进程运行路径

6、文件压缩和解压

6.1 zip格式

1）压缩的命令格式：

zip [选项] 压缩包名 源文件或源目录

选项：
-r：压缩目录

示例：

zip ana.zip anaconda-ks.cfg

压缩多个文件：

zip test.zip abc abcd

2）解压缩的命令格式：

unzip [选项] 压缩包名

选项：
-d：指定解压缩位置

示例：

unzip -d /tmp/ test.zip

6.2 gz格式

1）压缩的命令格式：

zip [选项] 源文件

选项	含义
-c	将压缩数据输出到标准输出中，可以用于保留源文件
-d	解压缩
-r	压缩目录

注意：使用gzip压缩文件后会将原文件删除，如果想保留原文件则可以使用-c选项将压缩过程产生的标准输出写入一个新的文件中，示例如下：>的作用是覆盖内容，>>的作用是追加内容

gzip -c demo.sh > demo.sh.gz

这样在压缩的时候就不再删除源文件了

gzip -r test

如果test是一个目录，上述命令则会分别压缩test目录下的每个文件，而不是压缩test目录，也就是说gzip命令不会打包压缩

2）解压的命令格式

gunzip [压缩文件]

gzip -d [压缩文件]

6.3 bz2格式

1）压缩的命令格式：

bzip2 [选项] 源文件

教程	含义
-d	解压缩
-k	压缩时，保留源文件
-v	显示压缩的详细信息

注意：

bzip2不能压缩目录，会报错

解压时如果原文件已存在则会报错，因此最好先将原文件删除

2）解压缩的命令格式：

bunzip2 [压缩文件]

bzip2 -d [压缩文件]

6.4 tar格式

1）打包的命令格式：

tar [选项] [-f 压缩包名] 源文件或源目录

选项	含义
-c	打包
-f	指定压缩的文件名，压缩的扩展名是管理员用来识别格式的，所以一定要正确指定扩展名
-v	显示打包文件过程

注意：使用tar命令打包并不会压缩文件

2）解打包的命令格式

tar [选项] 压缩包 (-C 解打包目录)

选项	含义
-x	解打包
-f	指定压缩包的文件名
-v	显示解打包文件的过程
-t	测试，就是不解打包，只是查看包里有哪些文件

由于gzip和bzip2不能打包只能压缩，而tar只能打包不会压缩，因此可以先使用tar打包，然后使用gzip或bzip2进行压缩

6.5 .tar.gz格式和.tar.bz2格式

1）压缩的命令格式

tar [选项] [压缩包] 源文件或源目录

选项	含义
-z	压缩和解压缩".tar.gz"格式
-j	压缩和解压缩".tar.bz2"格式

示例：

tar -zxvf test.tar.gz test/    解压缩

tar -zxvf test.tar.gz -C /tmp  解压缩到指定目录

最后看看Linux与它另外两兄弟的关系吧！！！