Flink从入门到精通100篇（二十三）-基于Apache Flink的爱奇艺实时计算平台建设实践

Posted 2021-06-14 文宇肃然

前言

随着大数据的快速发展，行业大数据服务越来越重要。同时，对大数据实时计算的要求也越来越高。今天会和大家分享下爱奇艺基于Apache Flink的实时计算平台建设实践。

今天的介绍会围绕下面三点展开：

• Flink的现状与改进

• 平台化的探索和实践：实时计算平台

• Flink业务案例

01Flink的现状与改进

1. Flink现状

首先和大家分享下爱奇艺大数据服务的发展史。

 

• 2012年搭建了第一个Hadoop集群，当时只有大概20几个节点，使用的计算框架是MapReduce和Hive等

• 到2013，2014年，开始使用Hadoop 2.0，上线了Storm和Spark，由于Storm的使用性和稳定性不够好，被放弃使用，转而使用Spark

• 2015年发布了第一个实时计算平台Europa，上线了Kafka

• 2017年使用了Flink，同时我们基于Spark和Flink打造了流式计算引擎St