Linux之进程管理,性能监控与计划任务

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Linux之进程管理,性能监控与计划任务相关的知识,希望对你有一定的参考价值。

进程管理



ps

ps [OPTION]...
常用选项

aux,-ef,-eFH,
-eo pid,tid,class,rtprio,ni,pri,psr,pcpu,stat,comm
axo stat,euid,ruid,tty,tpgid,sess,pgrp,ppid,pid,pcpu,comm

选项:默认显示当前终端中的进程

a 选项包括所有终端中的进程
x 选项包括不链接终端的进程
u 选项显示进程所有者的信息
f 选项显示进程树,相当于 --forest
k|--sort 属性 对属性排序,属性前加- 表示倒序
o 属性… 选项显示定制的信息 pid、cmd、%cpu、%mem
L 显示支持的属性列表
-C cmdlist 指定命令,多个命令用,分隔
-L 显示线程
-e: 显示所有进程,相当于-A
-f: 显示完整格式程序信息
-F: 显示更完整格式的进程信息
-H: 以进程层级格式显示进程相关信息
-u userlist 指定有效的用户ID或名称
-U userlist 指定真正的用户ID或名称
-g gid或groupname 指定有效的gid或组名称
-G gid或groupname 指定真正的gid或组名称
-p pid 显示指pid的进程
--ppid pid 显示属于pid的子进程
-M 显示SELinux信息,相当于Z

示例:
ps axo pid,%cpu,%mem,cmd k -%mem 内存利用率从大到小排序
ps axo pid,cmd user,ruser,nice,pri
renice -n -10 8814 更改8814进程nice优先级为-10,优先级越高,cpu会先分时间片,运行此进程。
nice -n -5 ping 127.0.0.1 以nice值我为-5运行ping命令

ps 输出属性

VSZ: Virtual memory SiZe,虚拟内存集,线性内存
RSS: ReSident Size, 常驻内存集
STAT:进程状态

R:running
S: interruptable sleeping
D: uninterruptable sleeping
T: stopped
Z: zombie
+: 前台进程
l: 多线程进程
L:内存分页并带锁
N:低优先级进程
<: 高优先级进程
s: session leader,会话(子进程)发起者

ni: nice值

pri: priority 优先级
psr: processor CPU编号
rtprio: 实时优先级

ps示例

查询你拥有的所有进程

ps -x

显示指定用户名(RUID)或用户ID的进程

ps -fU apache
ps -fU 48

显示指定用户名(EUID)或用户ID的进程

ps -fu wang
ps -fu 1000

查看以root用户权限(实际和有效ID)运行的每个进程

ps -U root -u root

列出某个组拥有的所有进程(实际组ID:RGID或名称)

ps -fG nginx

列出有效组名称(或会话)所拥有的所有进程

ps -fg mysql
ps -fg 27

显示指定的进程ID对应的进程

ps -fp 1234

以父进程ID来显示其下所有的进程,如显示父进程为1234的所有进程

ps -f --ppid 1234

显示指定PID的多个进程

ps -fp 1204,1239,1263

要按tty显示所属进程

ps -ft pts/0

自定义格式显示文件系统组,ni值开始时间和进程的时间

ps -p 1234 -o pid,ppid,fgroup,ni,lstart,etime

使用其PID查找进程名称:

ps -p 1244 -o comm=

要以其名称选择特定进程,显示其所有子进程

ps -C sshd,bash

查找指定进程名所有的所属PID,在编写需要从std输出或文件读取PID的脚本时这个参数很有用

ps -C httpd,sshd -o pid=

检查一个进程的执行时间

ps -eo comm,etime,user | grep nginx

查找占用最多内存和CPU的进程

ps -eo pid,ppid,cmd,%mem,%cpu --sort=-%mem | head
ps -eo pid,ppid,cmd,%mem,%cpu --sort=-%cpu | head

显示安全信息
ps -eM
ps --context

使用以下命令以用户定义的格式显示安全信息

ps -eo euser,ruser,suser,fuser,f,comm,label

使用watch实用程序执行重复的输出以实现对就程进行实时的监视,如下面的命令显示每秒钟的监视

watch -n 1 ‘ps -eo pid,ppid,cmd,%mem,%cpu --sort=-%mem | head‘

搜索进程



最灵活 ps 选项| 其他命令
按预定义的模式:pgrep
pgrep [options] pattern

-u uid: effective user,生效者
-U uid: real user,真正发起运行命令者
-t terminal: 与指定终端相关的进程
-l: 显示进程名
-a: 显示完整格式的进程名
-P pid: 显示指定进程的子进程
示例

pgrep -lU wang
pgrep -at pts/3

按确切的程序名称: /sbin/pidof

pidof bash

系统工具



/proc/uptime 包括两个值,单位 s

系统启动时长,空闲进程的总时长(按总的CPU核数计算)

uptime 和 w

显示当前时间,系统已启动的时间、当前上线人数,系统平均负载(1、5、10分钟的平均负载,一般不会超过1)

系统平均负载:

1,指在特定时间间隔内运行队列中的平均进程数
2,通常每个CPU内核的当前活动进程数不大于3,那么系统的性能良好。如果每个CPU内核的任务数大于5,那么此主机的性能有严重问题
3,如果linux主机是1个双核CPU,当Load Average 为6的时候说明机器已经被充分使用

top:有许多内置命令(epel源里htop工具更为好用)

排序:

P:以占据的CPU百分比,%CPU
M:占据内存百分比,%MEM
T:累积占据CPU时长,TIME+

首部信息显示:

uptime信息:l命令
tasks及cpu信息:t命令
cpu分别显示:1 (数字)
memory信息:m命令

退出命令:q
修改刷新时间间隔:s
终止指定进程:k
保存文件:W

栏位信息简介

us:用户空间
sy:内核空间
ni:调整nice时间
id:空闲
wa:等待IO时间
hi:硬中断
si:软中断(模式切换)
st:虚拟机偷走的时间

选项:

-d # 指定刷新时间间隔,默认为3秒
-b 全部显示所有进程
-n # 刷新多少次后退出
-H 线程模式,示例:top -H -p pidof mysqld

htop命令:EPEL源

选项:

-d #: 指定延迟时间;
-u UserName: 仅显示指定用户的进程
-s COLUME: 以指定字段进行排序

子命令:

s:跟踪选定进程的系统调用
l:显示选定进程打开的文件列表
a:将选定的进程绑定至某指定CPU核心
t:显示进程树

内存空间
free [OPTION]

-b 以字节为单位
-m 以MB为单位
-g 以GB为单位
-h 易读格式
-o 不显示-/+buffers/cache行
-t 显示RAM + swap的总和
-s n 刷新间隔为n秒
-c n 刷新n次后即退出

内存工具



vmstat命令:虚拟内存信息
vmstat [options] [delay [count]]
vmstat 2 5 两秒刷新 一共刷新5次
技术图片
如上图显示的si和so,bi和bo参考物都是内存
如dd if=/dev/zero of=/dev/null bs=5G 内存不够的话,会使用swap,此时so就会出现暴增,从内存出到swap
如dd if=dev/sda of=/dev/null 此时是从硬盘读取数据到内存,数据进入内存,所以bi会出现暴增,
如dd if=dev/zero of=f1,此时要从内存读数据写入磁盘,出内存,所以bo会出现暴增。

系统监控工具



iostat:统计CPU和设备IO信息
示例:iostat 1 10
技术图片

iftop:显示带宽使用情况,EPEL源
示例:iftop -n -i eth1 如果不加-n 不进行反解 显示为主机名 否则显示为IP
技术图片

pmap命令:进程对应的内存映射

tip:可以用来刷锅,如果开发人员开发的程序有bug,可以使用pmap查看是否有内存增长异常的模块链接库

pmap [options] pid [...]

-x: 显示详细格式的信息
示例:pmap 1

另外一种实现

cat /proc/PID/maps

glances命令:EPEL源(可以监控远程主机,c/s架构)
glances [-bdehmnrsvyz1] [-B bind] [-c server] [-C conffile] [-p port] [-P password] [--password] [-t refresh] [-f file] [-o output]
技术图片
常用选项:

-b: 以Byte为单位显示网卡数据速率
-d: 关闭磁盘I/O模块
-f /path/to/somefile: 设定输入文件位置
-o {html|CSV}:输出格式
-m: 禁用mount模块
-n: 禁用网络模块
-t #: 延迟时间间隔
-1:每个CPU的相关数据单独显示

技术图片

dstat命令:系统资源统计,代替vmstat,iostat
dstat [-afv] [options..] [delay [count]]

-c 显示cpu相关信息
-C #,#,...,total
-d 显示disk相关信息
-D total,sda,sdb,...
-g 显示page相关统计数据
-m 显示memory相关统计数据
-n 显示network相关统计数据
-p 显示process相关统计数据
-r 显示io请求相关的统计数据
-s 显示swapped相关的统计数据
--tcp
--udp
--unix
--raw
--socket
--ipc
--top-cpu:显示最占用CPU的进程
--top-io: 显示最占用io的进程
--top-mem: 显示最占用内存的进程
--top-latency: 显示延迟最大的进程

iotop(可用于查看哪个软件大量占用io)
iotop命令是一个用来监视磁盘I/O使用状况的top类工具iotop具有与top相似的UI,其中包括PID、用户、I/O、进程等相关信息,可查看每个进程是如何使用IO
iotop输出

第一行:Read和Write速率总计
第二行:实际的Read和Write速率
第三行:参数如下:
线程ID(按p切换为进程ID)
优先级
用户
磁盘读速率
磁盘写速率
swap交换百分比
IO等待所占的百分比
线程/进程命令

-o, --only只显示正在产生I/O的进程或线程,除了传参,可以在运行过程中按o生效
-b, --batch非交互模式,一般用来记录日志
-n NUM, --iter=NUM设置监测的次数,默认无限。在非交互模式下很有用
-d SEC, --delay=SEC设置每次监测的间隔,默认1秒,接受非×××数据例如1.1
-p PID, --pid=PID指定监测的进程/线程
-u USER, --user=USER指定监测某个用户产生的I/O
-P, --processes仅显示进程,默认iotop显示所有线程
-a, --accumulated显示累积的I/O,而不是带宽
-k, --kilobytes使用kB单位,而不是对人友好的单位。在非交互模式下,脚本编程有用
-t, --time 加上时间戳,非交互非模式
-q, --quiet 禁止头几行,非交互模式,有三种指定方式

-q 只在第一次监测时显示列名
-qq 永远不显示列名
-qqq 永远不显示I/O汇总

交互按键

left和right方向键:改变排序
r:反向排序
o:切换至选项--only
p:切换至--processes选项
a:切换至--accumulated选项
q:退出
i:改变线程的优先级

nload 查看网络实时吞吐量
nload是一个实时监控网络流量和带宽使用情况,以数值和动态图展示进出的流量情况
安装:yum -y install nload (EPEL源)
界面操作

上下方向键、左右方向键、enter键或者tab键都就可以切换查看多个网卡的流量情况
按 F2 显示选项窗口
按 q 或者 Ctrl+C 退出 nload

示例:

nload:默认只查看第一个网络的流量进出情况
nload eth0 eth1:在nload后面指定网卡,可以指定多个

设置刷新间隔:默认刷新间隔是100毫秒,可通过 -t命令设置刷新时间(单位是毫秒)

nload -t 500 eth0

设置单位:显示两种单位一种是显示Bit/s、一种是显示Byte/s,默认是以Bit/s,也可不显示/s

-u h|b|k|m|g|H|B|K|M|G 表示的含义: h: auto, b: Bit/s, k: kBit/s, m: MBit/s, H: auto, B: Byte/s, K: kByte/s, M: MByte/s
nload -u M eth0

lsof:list open files查看当前系统文件的工具。
在linux环境下,一切皆文件,用户通过文件不仅可以访问常规数据,还可以访问网络连接和硬件如传输控制协议 (TCP) 和用户数据报协议 (UDP)套接字等,系统在后台都为该应用程序分配了一个文件描述符
命令参数

-a:列出打开文件存在的进程
-c<进程名>:列出指定进程所打开的文件
-g:列出GID号进程详情
-d<文件号>:列出占用该文件号的进程
+d<目录>:列出目录下被打开的文件
+D<目录>:递归列出目录下被打开的文件
-n<目录>:列出使用NFS的文件
-i<条件>:列出符合条件的进程(4、6、协议、:端口、 @ip )
-p<进程号>:列出指定进程号所打开的文件
-u:列出UID号进程详情
-h:显示帮助信息
-v:显示版本信息。
-n: 不反向解析网络名字

进程管理

查看由登陆用户启动而非系统启动的进程

lsof /dev/pts/1

指定进程号,可以查看该进程打开的文件

lsof -p 9527

文件管理

查看指定程序打开的文件

lsof -c httpd

查看指定用户打开的文件

lsof -u root | more

查看指定目录下被打开的文件

lsof +D /var/log/
lsof +d /var/log/
参数+D为递归列出目录下被打开的文件,参数+d为列出目录下被打开的文件

查看所有网络连接

lsof -i –n
lsof [email protected]
通过参数-i查看网络连接的情况,包括连接的ip、端口等以及一些服务的连接情况,例如:sshd等。也可以通过指定ip查看该ip的网络连接情况

查看端口连接情况

lsof -i :80 -n
通过参数-i:端口可以查看端口的占用情况,-i参数还有查看协议,ip的连接情况等

查看指定进程打开的网络连接

lsof -i –n -a -p 9527
参数-i、-a、-p等,-i查看网络连接情况,-a查看存在的进程,-p指定进程

查看指定状态的网络连接

lsof -n -P -i TCP -s TCP:ESTABLISHED
-n:no host names, -P:no port names,-i TCP指定协议,-s指定协议状态通过多个参数可以清晰的查看网络连接情况、协议连接情况等

lsof示例
恢复删除文件 :(前提是被别人误删除,并且你正在占用查看这个文件,才可以找到)

lsof |grep /var/log/messages
rm -f /var/log/messages
lsof |grep /var/log/messages
cat /proc/653/fd/6
cat /proc/653/fd/6 > /var/log/messages

进程管理工具

kill命令:向进程发送控制信号,以实现对进程管理,每个信号对应一个数字,信号名称以SIG开头(可省略),不区分大小写
显示当前系统可用信号: kill –l 或者 trap -l

常用信号:man 7 signal

1) SIGHUP 无须关闭进程而让其重读配置文件
2) SIGINT 中止正在运行的进程;相当于Ctrl+c
3) SIGQUIT 相当于ctrl+
9) SIGKILL 强制杀死正在运行的进程
15) SIGTERM 终止正在运行的进程
18) SIGCONT 继续运行
19) SIGSTOP 后台休眠

指定信号的方法 :

(1) 信号的数字标识:1, 2, 9
(2) 信号完整名称:SIGHUP
(3) 信号的简写名称:HUP

按PID:kill [-SIGNAL] pid …

kill –n SIGNAL pid
kill –s SIGNAL pid

按名称:killall [-SIGNAL] comm…

killall -9 bash 强制杀死一系列进程

killall -0 bash = pidof bash 可用作检查程序运行是否正常,根据$?的返回值。

按模式:pkill [options] pattern

-SIGNAL
-u uid: effective user,生效者
-U uid: real user,真正发起运行命令者
-t terminal: 与指定终端相关的进程
pkill -9 -t pts/1 强制杀死pts/1上的进程
-l: 显示进程名(pgrep可用)
-a: 显示完整格式的进程名(pgrep可用)
-P pid: 显示指定进程的子进程

作业管理

Linux的作业控制

前台作业:通过终端启动,且启动后一直占据终端
后台作业:可通过终端启动,但启动后即转入后台运行(释放终端)

让作业运行于后台

(1) 运行中的作业: Ctrl+z
(2) 尚未启动的作业: COMMAND &

后台作业虽然被送往后台运行,但其依然与终端相关;退出终端,将关闭后台作业。如果希望送往后台后,剥离与终端的关系

nohup COMMAND &>/dev/null &
screen;COMMAND

查看当前终端所有作业:jobs

作业控制:

fg [[%]JOB_NUM]:把指定的后台作业调回前台
bg [[%]JOB_NUM]:让送往后台的作业在后台继续运行
kill [%JOB_NUM]: 终止指定的作业

技术图片

并行运行

同时运行多个进程,提高效率
方法1

vi all.sh
f1.sh&
f2.sh&
f3.sh&

方法2

(f1.sh&);(f2.sh&);(f3.sh&)

方法3

{ f1.sh& f2.sh& f3.sh& }

任务计划

Linux任务计划、周期性任务执行
?未来的某时间点执行一次任务

at 指定时间点,执行一次性任务
batch 系统自行选择空闲时间去执行此处指定的任务

?周期性运行某任务

cron

at 命令:at [option] TIME
常用选项:

-V 显示版本信息
-t time 时间格式 [[CC]YY]MMDDhhmm[.ss]
-l 列出指定队列中等待运行的作业;相当于atq
-d 删除指定的作业;相当于atrm
-c 查看具体作业任务
-f /path/file 指定的文件中读取任务
-m 当任务被完成之后,将给用户发送邮件,即使没有标准输出
注意:作业执行命令的结果中的标准输出和错误以邮件通知给相关用户
TIME:定义出什么时候进行 at 这项任务的时间
HH:MM [YYYY-mm-dd]
noon, midnight, teatime(4pm)
tomorrow
now+#{minutes,hours,days, OR weeks,year}

示例:
在今日的 HH:MM 进行,若该时刻已过,则明天此时执行任务

HH:MM 02:00

规定在某年某月的某一天的特殊时刻进行该项任务

HH:MM YYYY-MM-DD 02:00 2016-09-20
HH:MM[am|pm] [Month] [Date]
04pm March 17
17:20 tomorrow

在某个时间点再加几个时间后才进行该项任务

HH:MM[am|pm] + number [minutes|hours|days|weeks]
now + 5 min
02pm + 3 days

执行方式:
1)交互式 2)输入重定向 3)at –f 文件
依赖与atd服务,需要启动才能实现at任务
at队列存放在/var/spool/at目录中
/etc/at.{allow,deny}控制用户是否能执行at任务

白名单:/etc/at.allow 默认不存在,只有该文件中的用户才能执行at命令
黑名单:/etc/at.deny 默认存在,拒绝该文件中用户执行at命令,而没有在at.deny 文件中的使用者则可执行
如果两个文件都不存在,只有 root 可以执行 at 命令

周期性任务计划cron
相关的程序包:
cronie:主程序包,提供crond守护进程及相关辅助工具
cronie-anacron:cronie的补充程序,用于监控cronie任务执行状况,如cronie中的任务在过去该运行的时间点未能正常运行,则anacron会随后启动一次此任务
crontabs:包含CentOS提供系统维护任务
详情参见 man 5 crontab
技术图片
确保crond守护处于运行状态:
CentOS 7:
systemctl status crond
CentOS 6:
service crond status
计划周期性执行的任务提交给crond,到指定时间会自动运行
系统cron任务:系统维护作业

/etc/crontab

用户cron任务:

crontab命令

日志:/var/log/cron
例如:晚上9点10分运行echo命令

10 21 * wang /bin/echo "Howdy!"

每分钟检测httpd服务运行是否正常,不正常则重启

* * * * * killall -0 httpd &> /dev/null || systemctl restart httpd

时间表示法:
?(1) 特定值
给定时间点有效取值范围内的值
?(2) *
给定时间点上有效取值范围内的所有值
表示“每...”
?(3) 离散取值
#,#,#
?(4) 连续取值
#-#
?(5) 在指定时间范围上,定义步长
/#: #即为步长

系统的计划任务:

/etc/crontab 配置文件
/etc/cron.d/ 配置文件
/etc/cron.hourly/ 脚本
/etc/cron.daily/ 脚本
/etc/cron.weekly/ 脚本
/etc/cron.monthly/ 脚本

[Sat Apr 06 22:10
 [email protected] /var/spool/at]$ ls /etc/cron
cron.d/       cron.daily/   cron.deny     cron.hourly/  cron.monthly/ crontab       cron.weekly/  
[Sat Apr 06 22:09
 [email protected] /var/spool/at]$ cat /etc/cron.d/0hourly 
# Run the hourly jobs
SHELL=/bin/bash
PATH=/sbin:/bin:/usr/sbin:/usr/bin
MAILTO=root
01 * * * * root run-parts /etc/cron.hourly

跑全部文件夹下的脚本

run-parts /Path/to/document

anacron系统
此文件/etc/anacrontab,定义了如果自动任务没有执行,开机后每天开机后5分钟,每周的第七天开机25分钟,每月的开机第45分钟执行自动任务脚本。

[Sat Apr 06 22:17
 [email protected] /var/spool/at]$ cat /etc/anacrontab
 # /etc/anacrontab: configuration file for anacron

# See anacron(8) and anacrontab(5) for details.

SHELL=/bin/sh
PATH=/sbin:/bin:/usr/sbin:/usr/bin
MAILTO=root
# the maximal random delay added to the base delay of the jobs
RANDOM_DELAY=45
# the jobs will be started during the following hours only
START_HOURS_RANGE=3-22

#period in days   delay in minutes   job-identifier   command
1       5       cron.daily              nice run-parts /etc/cron.daily
7       25      cron.weekly             nice run-parts /etc/cron.weekly
@monthly 45     cron.monthly            nice run-parts /etc/cron.monthly

字段1:如果在这些日子里没有运行这些任务……
字段2:在重新引导后等待这么多分钟后运行它
字段3:任务识别器,在日志文件中标识
字段4:要执行的任务
由/etc/cron.hourly/0anacron执行
当执行任务时,更新/var/spool/anacron/cron.daily 文件的时间戳

管理临时文件
CentOS7使用systemd-tmpfiles-setup服务实现
CentOS6使用/etc/cron.daily/tmpwatch定时清除临时文件
配置文件:
/etc/tmpfiles.d/*.conf
/run/tmpfiles.d/*.conf
/usr/lib/tmpfiles/*.conf
/usr/lib/tmpfiles.d/tmp.conf

d /tmp 1777 root root 10d
d /var/tmp 1777 root root 30d

用户计划任务
crontab命令定义
每个用户都有专用的cron任务文件:/var/spool/cron/USERNAME
crontab命令
crontab [-u user] [-l | -r | -e] [-i]

-l 列出所有任务
-e 编辑任务
-r 移除所有任务
-i 同-r一同使用,以交互式模式移除指定任务
-u user 仅root可运行,指定用户管理cron任务

控制用户执行计划任务:

/etc/cron.{allow,deny}

注意:如果在命令中要使用%,则需要转义,将%放置于单引号中,则可不用转义

技术图片

思考:
(1) 如何在秒级别运行任务?
* * * * * for min in 0 1 2; do echo "hi"; sleep 20; done
(2) 如何实现每7分钟运行一次任务?
sleep命令:
sleep NUMBER[SUFFIX]...

SUFFIX:
s: 秒, 默认
m: 分
h: 小时
d: 天

usleep 1000000 相当于1秒钟,1000相当于1毫秒

以上是关于Linux之进程管理,性能监控与计划任务的主要内容,如果未能解决你的问题,请参考以下文章

linux进程与计划任务管理

Linux系统管理——进程和计划任务

RPM管理,计划任务与性能监控

Linux 任务计划管理

Centos进程作业管理与计划任务

linux基础学习第十八天之进程管理和任务计划