将Sendmail日志文件加载到pandas

Posted 2021-03-27

我需要分析很多很长的Sendmail日志文件，其中一些是gzip，我正在尝试使用pandas，

这些行的格式如下：

    2019-02-04T17:41:06.957332-08:00 server1 sendmail[1945]: x151f6Ng001945: from=<[e-mail]>, size=20946, class=0, nrcpts=1, msgid=<ZZZZZZZZZZZ>, proto=SMTP, daemon=MTA, tls_verify=NONE, auth=NONE, relay=server1 [127.0.0.1]
    2019-02-04T17:41:06.990091-08:00 server1 sendmail[1955]: x151f6Ng001945: to=<[e-mail]>, delay=00:00:00, xdelay=00:00:00, mailer=esmtp, tls_verify=NONE, pri=140946, relay=server2. [IP_2], dsn=2.0.0, stat=Sent (Ok: queued as 43tnNL6jtyz6p3vf)

第一列，日期服务器用空格分隔，但行的其余部分用“，”（逗号空格）分隔，字段数是可变的，我的想法是按空格分隔列，并在最后一个字段后来搜索特定文本，以创建新列，

我尝试使用sep=r',(?!s)'不要使用逗号空格作为分隔符，但不起作用

一些想法

答案

一种方法如下：在命令行上使用sed将数据分成5列。

sed -e s/" "/", "/1 test.txt | sed -e s/" "/", "/2 | sed -e s/" "/", "/3 | sed -e s/" "/", "/4 | sed -e s/" "/"""/5 | sed -e s/$/"/ > test_5cols.csv

这会将逗号放在前4个空格中。第5列中的其他数据都是“混合”的，并且顺序不同。

2019-02-04T17:41:06.957332-08:00, server1, sendmail[1945]:, x151f6Ng001945:, from=<[e-mail]>,"size=20946, class=0, nrcpts=1, msgid=<ZZZZZZZZZZZ>, proto=SMTP, daemon=MTA, tls_verify=NONE, auth=NONE, relay=server1 [127.0.0.1]"
2019-02-04T17:41:06.990091-08:00, server1, sendmail[1955]:, x151f6Ng001945:, to=<[e-mail]>,"delay=00:00:00, xdelay=00:00:00, mailer=esmtp, tls_verify=NONE, pri=140946, relay=server2. [IP_2], dsn=2.0.0, stat=Sent (Ok: queued as 43tnNL6jtyz6p3vf)"

然后，您可以使用pandas read_csv将其拉入df，然后重命名列。

另一答案

最后，我在数据集中逐行加载文件并创建新列，提取我需要的特定字段，read_csv选项更容易