大数据架构(PB级)

Posted jiang-it

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了大数据架构(PB级)相关的知识,希望对你有一定的参考价值。

1.随着互联网快速发展,数据量的快速膨胀,我们日增3000多亿数据量,因此需要针对PB级存储、几百TB的增量数据处理架构设计

2.系统逻辑划分总图:

暂不便透露

 

3.系统架构图:

技术图片

 

 4.大数据计算引擎我们是采用Apache Flink流式计算框架,并对其进行了一些优化,目前在生产环境,已经基本稳定运行!

   欢迎大家评论!!!

以上是关于大数据架构(PB级)的主要内容,如果未能解决你的问题,请参考以下文章

大数据时代秒级查询响应引擎的架构设计

揭秘大数据时代秒级查询响应引擎的架构设计

360 政企安全集团基于 Flink 的 PB 级数据即席查询实践

360 政企安全集团基于 Flink 的 PB 级数据即席查询实践

大数据中台架构以及建设全流程一(Paas层设计)

阿里十年技术沉淀|深度解析百PB级数据总线技术