WW大数据平台架构

Posted 技术即艺术

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了WW大数据平台架构相关的知识,希望对你有一定的参考价值。

1.大数据架构

说明:
1.该大数据平台采用的阿里云服务器,所以在集群部署和运维上会减少很多工作量
2.主题的计算引擎采用Spark,部分有Flink
3.数据挖掘主要是应用python的一些挖掘框架,模型比如词袋模型和一些常见的nlp算法
4.任务调度是自研的诸葛大数据调度平台

以上是关于WW大数据平台架构的主要内容,如果未能解决你的问题,请参考以下文章

大数据平台架构浅析——以讯飞大数据平台Odeon为例

知名大厂如何搭建大数据平台&架构

收集各大互联网公司大数据平台架构

百度阿里腾讯平台架构都熟悉,小米大数据平台架构OLAP架构演进是否了解

美团大数据平台架构实践

一个常见大数据平台架构