百度新一代流式计算系统DStream3

Posted QCon

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了百度新一代流式计算系统DStream3相关的知识,希望对你有一定的参考价值。

程怡,百度流式计算负责人,资深研发工程师。先后供职于百度商业基础平台部、基础架构部、商务搜索架构部,对大型分布式系统、大数据分析有浓厚兴趣,拥有多项相关专利。 

演讲概述

分布式流式计算在百度搜索公司有多年应用,是搜索广告和建库、信息流等上层应用的重要基础设施之一,近年更是对高吞吐场景的时效性、数据准确性和数据流的稳定性提出了更高要求。面对挑战,百度自研了新一代流式计算系统 DStream3,可满足低至 10ms 级别的系统延迟、Exactly-once/At-least-once/At-most-once 三种准确性语义,并经过了大规模工业级应用的验证。该主题以 DStream3 为例,介绍以下内容: 

  1. 如何设计并实现一个业界领先的流式计算系统

  2. 工业级场景下的设计折衷、线上验证与实践经验 。

听众受益:

  1. 如果您希望自行研发流式计算系统,该主题将弥补分布式理论与工程实践之间的巨大鸿沟;

  2. 如果您在从事数据应用层的架构或研发,了解流式计算当前的擅长与局限,可以帮助选型和设计;

  3. 如果您是技术控,请与百度流式计算团队一起,共同探讨超大吞吐、超低延迟的流式计算问题吧! 

演讲视频


幻灯片


百度新一代流式计算系统DStream3

百度新一代流式计算系统DStream3

百度新一代流式计算系统DStream3

百度新一代流式计算系统DStream3

百度新一代流式计算系统DStream3

百度新一代流式计算系统DStream3

即可下载完整幻灯片





以上就是程怡老师在 QCon 上海 2018 的精彩分享,更多话题探索请持续关注新一届的 QCon 大会。




以上是关于百度新一代流式计算系统DStream3的主要内容,如果未能解决你的问题,请参考以下文章

海数据技术沙龙——Flink:新一代流式计算框架&Storm/JStorm: 流式计算框架的应用

新一代流式计算框架在金融行业的应用

阿里新一代流式计算引擎 大数据培训Flink学习宝典奉上

首发Flink新一代流式计算框架的体系架构及应用

百度智能云推计算框架Creek 让流式计算能力延伸至每个边缘节点

为什么阿里会选择 Flink 作为新一代流式计算引擎?