323异常访问统计 运维同学最近发现应用的访问日志有异常，需要分析下应用服务器是否被攻击了。

Posted 2022-02-12 huoyingfans

阿里上机笔试 异常访问统计 运维同学最近发现应用的访问日志有异常，需要分析下应用服务器是否被攻击了。 根据经验值：若一个IP单秒访问pv >= 1000，并且，持续大于等于5s，则认为该IP有攻击嫌疑。 现在有日志文件 access.txt，每一行都表示一个访问记录，请读取文件并输出有嫌疑的IP列表。

https://maimai.cn/web/feed_detail?fid=1699171070&efid=Re5wP9K4Ixu-Q0ABjKQ_UA&share_channel=2&webid=eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJ1IjoxNzg3MTM2MzYsImZpZCI6MTY5OTE3MTA3MH0.XSTNpELbKrIebgkf-Yf4gfooIzIsNwcSX7xKfrWDeD8&use_rn=1

 

滑动窗口 维护前后两个指针、两个hashmap 和一个储存结果的set就可以了 大文件要分割稍微麻烦一点 思想还是一样的

两个计数map，一个存结果set 一个map统计ip连续多少秒大于1000，另一个map统计当前这一秒的ip计数，假如这一秒有a b c三个ip计数大于1000， 就把a b c的连续计数+1，并把非a b c的连续计数清0，清0前判断连续计数是不是≥5，是就加到结果set

双map ，滑动窗口 ，count是负数时 ，-2表示连续2，-3表示连续3

没说文件规模一律认为耍流氓

你可以考虑文件大的情况，也可以考虑文件小和情况

用快慢指针

离线的用sparksql一把撸转成全量的rdd，再用分割flatmap 过滤算count大于阈值输出ip

这不就是字符串分割，统计单词出现次数？

得物App员工：是的，你说的没错，然后怎么做呢

如果是sql，用lag可以实现吧

map里套一个map，外层map的key用ip，里层的map的key用时间，value记录出现次数，然后判断次数是否大于一千以及时间是否有连续超过五次的

用Redis的hash数据结构不就好了。时间+IP作为field

玩awk啊，我敢说就一个分组统计就没几个会的

用Java 01-07 评论赞 奇虎360员工 运维的东西开发不会很正常吧 01-10 评论赞 永辉超市员工 回复奇虎360员工：这明显是道算法题 01-18 评论赞 刘梦 奇虎360服务端资深开发 回复永辉超市员工：

现在还有这么拉的运维用日志分析有没有被攻击吗？

求教高端运维用啥。

负载均衡按IP怎么做的，等分析日志再做负载黄花菜不都凉了么

map 多线程 极致压榨CPU

c++我应该是顺序扫一遍文件就可以了，一个线程读文件一个线程序列化。 因为只需要5s的数据，只要内存里能装的下6s的数据问题就不大，析构也可以单独开一个线程。 剩下的就是用哈希map存数据count++然后简单判断而已。

一个笨点的方法，python解析文本，每一行分割，把ip当作key，访问时间做嵌套的key，value就是出现次数，出现一次就加1。然后解析这个大map，对出现次数和访问时间是否连续做判断

不会，p几的题

陈雨：P6-7

小文件的话直接构造arraylist，转成lambda表达式经过若干算子collect一下就可以了

awk sort grep 一把梭，一行命令的事…

小米员工：性能太挫。没这么简单

tail -n 100000 access.txt|awk -F"," 'print $1,$2'|sort -n |uniq -c|sort -nr |head

陈雨：要出结果，还要连续5秒

cat文件，通过awk把秒输出、再sort，uniq-c，awk把只有秒的一列去重输出到一个文件，在for循环取秒，grep原文件取到每秒的行，awk ip地址，uniq-c次数、awk大于5000输出

from itertools import groupby mylog = open('access.txt', 'r') ips = [] for key, group in groupby(mylog):     ip = key[20:32]     if len(list(group)) >= 1000:         ips.append(ip) the_ip = [] set_ip = set(ips) for ip in set_ip:     if ips.count(ip) >= 5:         the_ip.append(ip) print(the_ip) 如果文件比较大就分割成多个chunk然后多个线程处理

第一步读取文件，文件每行以,分隔生成数组，取出时间和IP，将时间格式化为Long型，生成Map>，用TreeMap主要是方便KEY可以排序，方便判断连续5s的访问记录 第二步判断过滤IP连续5s的PV>=1000的，符合条件的输出到另一个Map>,这里可以用线程池来提高并发计算速度，每个线程判断一个IP 第三步输出符合条件的IP以及IP在相应时间阶段内的PV描述

用flink cep