Poseidon日志搜索平台调研笔记

Posted 2022-05-07 杨鑫newlfe

简介

Poseidon 波塞冬，是希腊神话中的海神，在这里寓意着海量数据的主宰者。

Poseidon系统是一个日志搜索平台，可以在数百万亿条、数百万PB大小的日志数据中快速分析和检索特定字符串。

360公司是一个安全公司，在追踪APT（Advanced Persistent Threat，高级持续威胁）事件时，经常需要在海量的历史日志数据中检索这些信息，

例如某个恶意样本在某个时间段内的活动情况。在Poseidon系统出现之前，都是写Map/Reduce计算任务在Hadoop集群中中计算，

一次任务所需的计算时间从数小时到数天不等，大大制约了APT事件的追踪效率。

Poseidon系统就是解决这个需求，能在几秒钟内从数百亿条规模数据中找到我们需要的数据，大大提高了效率；同时，这些数据不需要额外的存储，依然存放在Hadoop系统中，节省了大量的存储和计算资源。该系统可以应用于任何结构化和非结构化海量（从万亿到千万亿规模）数据的查询检索需求。

系统架构图

所用技术

• 倒排索引：构建日志搜索引擎的核心技术。

• Hadoop：用于存放原始数据