大数据采集系统架构方案
Posted 长城守卫队长
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了大数据采集系统架构方案相关的知识，希望对你有一定的参考价值。
背景：
自己以前一直听说，爬虫，大数据，但是自己一直不了解，之后后来参与到一个大数据采集系统，此系统主要是采集一些外网的数据，然后这些外网的数据信息，给集团内部来用。接下来我们聊一聊我们的系统架构图
1.python爬虫
python 爬取数据到hbase系统
2.大数据系统方案
大数据端主要是完成了数据的聚合，和数据的etl 和数据的离线计算
3.java系统架构方案
java端主要是实现了平台对外的api接口
如涉及版权请联系博主删除！
以上是关于大数据采集系统架构方案的主要内容，如果未能解决你的问题，请参考以下文章