数据开发（持续梳理）
Posted 人在江湖之诗和远方
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了数据开发（持续梳理）相关的知识，希望对你有一定的参考价值。
数据开发相关的经验不是很多，目前已自己对这块工作的理解，先初步整理下。
所谓数据开发是面向数据仓库的开发，所以结合一般数据仓库的架构主要有几个方面的生态内容。
1、数据采集
mysql等关系型数据的搜集
分布式日志搜集（flume、kafka）
2、数据存储
hdfs
3、数据计算（离线、实时）
mr、hive、spark、spark sql
spark streaming 、 storm
4、数据应用
BI系统、数据报表可视化、机器学习
以上是关于数据开发（持续梳理）的主要内容，如果未能解决你的问题，请参考以下文章