Flink在米哈游的落地实践

Posted 2022-07-30 过往记忆

摘要：本文是来自米哈游大数据部对于Flink在米哈游应用及实践的分享。

本篇内容主要分为四个部分：

1.背景介绍

2.实时平台建设

3.实时数仓和数据湖探索

4.未来发展与展望

 

作者：实时计算负责人 张剑

背景介绍

米哈游成立于2011年，致力于为用户提供美好的、超出预期的产品与内容。公司陆续推出了多款高品质人气产品，包括《崩坏学园2》、《崩坏3》、《未定事件簿》、《原神》，动态桌面软件《人工桌面》以及社区产品《米游社》，并围绕原创IP打造了动画、漫画、音乐、小说及周边等多元产品。总部位于中国上海，并在新加坡、美国、加拿大、日本、韩国等国家和地区进行全球化布局。

Flink在米哈游大数据发展过程中，一直扮演着重要角色。自实时计算平台建立以来，Flink作为实时计算引擎，经历了多个发展阶段，实时计算平台也在不断的迭代完善。在米哈游内部，实时计算平台被称作Mlink，主要以Flink为主，兼容Spark Streaming任务。从起初的Flink Jar包任务为主，发展到以Flink Sql为主，不断的降低的使用门槛和提高了任务的开发效率；从起初的基础的Flink任务开发，发展到跨区域、跨云厂商的任务多版本管理，满足了业务发展的需求。在发展的过程中࿰