海量日志数据如何处理统计？

Posted 2020-09-23 敏捷人生@cnblogs

项目需要做一个dashboard图表网站，展示日志的相关统计信息。这个页面图表很多，一次性会加载出很多数据。

日志表有很多种，都是一些入侵攻击日志、恶意站点访问日志等等，需要统计出当前时间、过去24小时、过去一周被攻击主机个数、恶意站点数（这是其中两个需求）等等数据。

比如被攻击主机个数，需要查多张数据表，然后统计出这个数据。

日志存储在PostgreSQL里面，已经基于时间做了分表，但是每天的的日志量都在100W以上。

写入数据库的模式是随时从其他的系统中写入。

根据这个应用场景，如果设计这个后端统计呢？还请大神提供一点思路，谢谢。

海量日志数据如何处理统计？ >> mysql

这个答案描述的挺清楚的：
http://www.goodpm.net/postreply/mysql/1010000007402947/海量日志数据如何处理统计.html