linux下如何提取日志中指定的一段内容?100分急求!!!

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了linux下如何提取日志中指定的一段内容?100分急求!!!相关的知识,希望对你有一定的参考价值。

有一段日志,内容大致如下:

xxxxx
xxx[SIP/2.0 xxx
xxxxx
xxx1234
xxx
]
xxxx
其中,SIP/2.0是起始关键字,最后的右方括号是结束关键字(起始关键字和结束关键字在日志里是成对出现的,1234是用户,可能有别的用户的),这一段内容中包含1234这个字符串,用什么命令,怎么提取这样一段内容呢?急求!!
还有补充一下,实际情况是这样的,linux主机上有一个log,记录了很多用户的通话,日志是不断刷新的,我需要用tail -f结合其他命令,在新出来的日志中过滤出我需要的这段内容,再保存到相应的文件中!

其实要说回答很简单,但是要给你做出来稍微费工夫,因为没有环境可以测试,你可以写一段shell代码来提取,也可以用sed/awk/grep等命令来做,但是命令的复杂度不亚于写一段shell代码。shell代码我给你算法吧。(括号里是参考代码,bash)
初始化变量(flg=0)
循环读取每一行文件(while line in `cat $log`)

变量开始[sip/2.0]为真时( if [ $flg -eq 1 ]; then )

输出当前行到结果文件中( echo $line >> $retFile )

如果是用户结束 ( chkEnd $line #chkEnd 是个shell函数检查是不是结束

if [ $? -eq 1 ]; then)
变量变量开始[sip/2.0]设置为假 (flg=0)

#如果是用户结束(fi)

否则(else)
如果当前行含有[sip/2.0]( echo $line | grep "[sip/2.0"

if [ $? -eq 0 ]; then)
输出当前行到结果文件中(echo $line >> $retFile)
变量变量开始[sip/2.0]设置为真(flg=1)
#如果当前行含有[sip/2.0](fi)
#变量开始[sip/2.0]为真时(fi)追问

我想用sed,但是现在提取出来很多以sip/2.0开始,并以]结束的日志段,由于有很多用户,就有很多段日志,怎么只提取我需要的用户的日志段呢?日志段中间有一个字符串是用户的号码。

追答

你能理解我在回答中的shell代码吧?
如果能的话就好办,其中chkEnd是一个自定义的shell函数,让这个值返回三个结果就可以了,0:不是结束,1:是结束语句,但不是想要的用户 2:是结束语句并且是想要的用户
程序做以下修改
1, 变量开始[sip/2.0]为真时( if [ $flg -eq 1 ]; then )
输出当前行到临时文件中( echo $line >> $tempFile )
2. 如果是用户结束,(其他的跟原来一样)
如果是想要的用户
将临时文件内容输出到结果文件
// 如果是想要的用户
清空临时文件

参考技术A 很简单,使用 grep -A 3 SIP 文件名
-A 3表示关键词所在行以下三行的内容
参考技术B 给你个思路,
tail -f 日志文件名|sed '/起始字段/,/结束字段/p' | grep -C 3 "用户号码"

djy@game-rd10:~> sed -n '/SIP/,/]/p' filename|grep -C 3 "1234"
[SIP/2.0
xx.ccc.kkkk.eeeee
1234
sss.werwer.sfdsfd.12323
sdf.sf
234423.sdf.234
我的测试结果,3表示号码在内的上下3行,你根据你自己需要修改
参考技术C 很简单,压缩文件解压后:
egrep -o [0-9]+ 日志文件
参考技术D 你可以使用vim两个快捷键非常方便:
1.cp一份日志到随便一个目录(保留原文件)
2.使用vim或者vi打开复制的文件,把光标移动到你想要的内容的第一行,按两下g,也就是gg,这样以上的内容就删除了
3.把光标移动到你想要的内容的最后一样按两下G,注意是大写的,这样下面不想要的内容就删除了
4.最后保存就OK了
应该还有比这个方法更快的,但是你应急就先用这个吧追问

大哥··忘了说了,我是需要用命令提取而不是手工去查找啊!
还有补充一下,实际情况是这样的,linux主机上有一个log,记录了很多用户的通话,日志是不断刷新的,我需要用tail -f结合其他命令,在新出来的日志中过滤出我需要的这段内容,再保存到相应的文件中!

追答

这段内容是一行还是多行呢? 如果是一行就好办了,用for循环写个小脚本,cat grep就行,如果是多行的话,我得搜搜grep大法。。

返回数组中指定的一列

提取二维数组相同的键和键对应的值组成一个新的一维数组,
tp不支持此函数,所以自己在php中找到,写在了tp的function下
//array_column — 返回数组中指定的一列
function arrayColumn(array $array, $column_key, $index_key=null){
  //本函数用来检查指定的函数是否已经定义。参数 function_name 为待检查的函数名称。若已定义指定的函数则返回 true 值,其它情形均返回 false 值。
  if(function_exists(‘array_column‘)){
    return array_column($array, $column_key, $index_key);
  }
  $result = array();
  foreach($array as $arr){
    if(!is_array($arr)) continue;
    if(is_null($column_key)){
      $value = $arr;
    }else{
      $value = $arr[$column_key];
    }

    if(!is_null($index_key)){
      $key = $arr[$index_key];
      $result[$key] = $value;
    }else{
      $result[] = $value;
    }
  }
    return $result;

}

以上是关于linux下如何提取日志中指定的一段内容?100分急求!!!的主要内容,如果未能解决你的问题,请参考以下文章

Linux中使用awk输出一段字符中指定的内容

返回数组中指定的一列

如何用shell提取文件中指定的字符串

linux下如何将第一行中指定的字符全部替换掉

shell 如何取本本文件中 指定两个字符中间的内容呢?

excel如何提取一个字符串中的一段字符?