linux下awk查找日志文件5分钟内是不是出现某个关键字

Posted 2023-05-09

参考技术A 5分钟内，这个需求是主要的。日志里有时间标志就好办，没有就蛋疼了 参考技术B 查找时输入关键字即可 参考技术C 查找时输入关键字即可 参考技术D 查找时输入关键字即可

工作中Linux常用命令总结（妙啊）

目录

• • 前言
  • 常用命令
  • • 1、内网下机器上文件下载到本地电脑
    • 2、查看端口占用
    • 3、内网下机器与机器互相传文件
    • 4、出现问题，查看日志原因
    • 5、指定下载目录
    • 6、vi编辑器粘贴出现缩进
    • 7、删除文件中含某关键词的行
    • 8、查看进程占用
    • 9、关闭/开启vi编辑器中行号
    • 10、定时执行某个文件
    • 11、后台运行程序 (脚本)
    • 12、操作文件常用的Linux三剑客（grep、awk、sed）

前言

一些最最简单的命令，比如cd、ls、vi、rm、mkdir、touch这种增删改查就不记录了，最基础的见传送链接，记录一下自己工作中用到的一些十分有用的命令

常用命令

1、内网下机器上文件下载到本地电脑

（1）在机器的下载文件目录 使用 Python 开启 http 服务，你要下载哪个文件到本地mac，就到其所在目录输入

python -m SimpleHTTPServer 8333

（2）在本地机器（mac）上下载需要下的文件（如文件名： delay_20211101-20211108.xlsx ），如在终端cd到桌面某个目录，如Desktop/work，下载到work目录，我是用iterm

格式：curl -v http://机器ip:8333/文件名 -O

举例：curl -v http://10.81.114.212:8333/delay90%_20211111-20211118.xlsx -O     最后O别忘

执行上述例子，就能通过网络的方式，将机器上delay_20211101-20211108.xlsx文件下载到本地mac的work目录，以供查看

注：ifconfig -a 或 hostname -i # 均可查看机器ip

2、查看端口占用

netstat -nltp | grep 端口号  #查看某个端口的使用情况

3、内网下机器与机器互相传文件

scp /home/work/nginx.tar.gz [e-mail]:/home/work/local/nginx   # 传文件给远程主机

4、出现问题，查看日志原因

tail -10000 monitor.log.wf | grep '关键词'  

如 tail -10000 monitor.log | grep 'wnsq'

5、指定下载目录

wget -P /home/test https://repo.mysql.com//mysql80-community-release-el8-1.noarch.rpm

# 指定下载目录并重命名
wget https://repo.mysql.com//mysql80-community-release-el8-1.noarch.rpm -O /home/temp.rar

小写o是打印日志到指定文件，这里是大写

可搭配python中写shell

6、vi编辑器粘贴出现缩进

vi 进入后，冒号: 下输入set paste，然后按i，进行编辑，拷贝就不会有换行自动缩进，
本地复制什么样就是什么样，set nopaste可以关闭

7、删除文件中含某关键词的行

sed相关

nl /etc/passwd | sed '3,5d'  # 删除[3,5]行

sed 's/old/new/g ’ 1. txt # 替换 1.txt文本中old为new,代码如下

8、查看进程占用

# 一般二者连用
ps -ef | grep 进程id或名字关键词

kill -9 进程id  # -9表示强制杀死，若杀不死，那进程就是僵尸进程，要查找其父进程杀死其父进程，从而子进程也会释放

ps -ef|grep app_manager|grep -v "grep"
ps -ef|grep app_manager|grep -v "grep"|wc -l  # 对应的进程个数

区别就是是否含color的，没有color的10314才是真正的pid

9、关闭/开启vi编辑器中行号

有时为了复制代码，但是会有行号，所以可以冒号: 模式下，输入

set nonu
set nu

10、定时执行某个文件

crontab -e # 进入后编辑如下内容，表示每周三9点定时执行xxx_base目录下的product_delay.sh脚本
00 9 * * 3 source ~/.bash_profile && cd /home/work/workplace/xxx_base && sh -x product_delay.sh >>./log/run.log 2>&1 &

00 9 * * 3 表示每周三早上9点执行，按照上面格式写即可，这里执行的是
xxx_base目录下的product_delay.sh文件，并且打印执行时日志

11、后台运行程序 (脚本)

nohup命令，注意下面是反引号

`nohup python app_xxx.py >> app_xxx.log 2>&1 &`

12、操作文件常用的Linux三剑客（grep、awk、sed）

https://blog.csdn.net/sj349781478/article/details/82930982