猎聘网架构中间件负责人：基于Flume+Kafka+ Elasticsearch+Storm的海量日志实时分析平台

Posted 2021-04-21 互联网技术联盟

互联网技术联盟（ITA1024）4月启动大数据技术系列分享，每周安排一场线上大数据技术精英群分享！本期邀请猎聘网架构师袁晓亮分享基于Flume+Kafka+ Elasticsearch+Storm的海量日志实时分析平台。

基于Flume+Kafka+ Elasticsearch+Storm的海量日志实时分析平台

袁晓亮

猎聘网

架构中间件负责人

互联网技术联盟

ITA1024讲师团成员

猎聘网架构师，担任架构中间件组负责人。

擅长各种组件框架的研发，负责建设各类基础中间件平台，其中主要有：统一推送平台、分布式调度平台、分布式文件平台、KV平台、分布式消息系统、敏感词扫描平台、实时日志分析平台等。

抽象梳理各个业务功能和需求，提供统一的基础平台接入，构建完善的中间件体系。

内容介绍

分享猎聘网通过EFK搭建在线实时海量日志查看平台的架构设计和实战经验。

该平台通过Flume为线上集群的上千个实例实时收集日志，日志种类目前主要分为nginx和tomcat日志，并将日志实时传入Kafka集群。

第一会通过Web平台使用浏览器实时在线浏览日志，基于redis发布订阅方式实现，浏览延迟小于5s；

第二会通过Web平台搜索、统计历史日志，基于将kafka日志灌入ES集群实现，日志搜索延迟1分钟左右；

第三会在后台进行实时统计分析日志，做规则处理，基于Storm流式计算实现。

时间/地点

北京时间： 2016.4.26  周二晚 8:30

@ITA1024大数据技术精英群

如何参加

阅读原文报名，请准确填写信息

因人数限制，会严格审核，通过后邀请进群

◆  ◆  ◆

About 互联网技术联盟 ITA1024

互联网技术联盟（ITA1024）是由京东、美团点评、小米、滴滴、携程、网易、搜狐、乐视、当当、途牛、饿了么、58、猎豹等TOP100的互联网服务和七牛、青云、听云、DaoCloud、UCloud、有云等技术服务联合发起的国内最大的企业间技术交流组织，专注于互联网+技术与创新。

联盟精心组织的1024系列技术峰会，由每周一期的线上万人课堂和每月一次的技术大会组成。每月一个技术主题，由联盟成员企业推荐的国内一流技术专家联手打造，分享如何通过一线技术应用案例和最佳实践，支撑和驱动业务成长。

联盟还通过官方网站（www.ita1024.com），官方微信公众（ita1024k），ITA1024技术月刊等多种形式，将精品技术内容精准推送给细分领域专业人群。