大数据系统之系统设计

Posted 成都笨笨

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了大数据系统之系统设计相关的知识,希望对你有一定的参考价值。

  大数据已经成为一种发展趋势,得到越来越多的公司参与。最近从事大数据系统设计开发和推荐引擎方面的工作,分几篇文章两个系列把自己的心得记录一下,

和大家分享一下大数据方面的经验。

整个平台包括监控系统、日志分析系统、推荐系统。按数据业务步骤划分,分为数据采集、清洗、存储、分析和服务。整个数据流程如下图:

 

 

  实际项目中和这流程图有点差异。前端日志搜集采用的Flume。

以上是关于大数据系统之系统设计的主要内容,如果未能解决你的问题,请参考以下文章

大数据数据治理之数据质量管理系统架构设计

毕业设计之 - 题目:基于大数据的电影数据分析可视化系统

mysql大数据高并发处理(转)

大数据量数据库优化

大数据量高并发的数据库优化,sql查询优化

大数据量高并发的数据库优化详解