数据湖：各模块组件
Posted YoungerChina
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了数据湖：各模块组件相关的知识，希望对你有一定的参考价值。
主要基于对现阶段一些常用的大数据开源框架技术的整理，只是一些简单的介绍，并不是详细技术梳理。可能会有疏漏，发现再整理。参考的太多，就不一一列出来了。这只是作为一个梳理，对以后选型或者扩展的做个参考。
系统平台 （Hadoop、CDH、HDP）
监控管理 （CM、Hue、Ambari、Dr.Elephant、Ganglia、Zabbix、Eagle）
文件系统 （HDFS、GPFS、Ceph、GlusterFS、Swift 、BeeGFS、Alluxio）
资源调度 （YARN、Mesos、）
协调框架 （ZooKeeper 、Etcd、Consul）
数据存储 （HBase、Cassandra、ScyllaDB 、MongoDB、Accumulo 、Redis 、Ignite、Arrow 、Geode、CouchDB、Kudu、CarbonData）
数据处理 （MapReduce、Spark、Flink、Storm、Tez、Samza、Apex、Beam、Heron）
查询分析（Hive、SparkSQL、Presto、Kylin、Impala、Druid、ElasticSearch、HAWQ、Lucene、Solr、 Phoenix）
数据收集 （Flume、Filebeat、Logstash、Chukwa ）
数据交换 （Sqoop 、Kettle、DataX 、NiFi）
消息系统 （Pulsar、Kafka、RocketMQ、ActiveMQ、RabbitMQ）
任务调度 （Azkaban、Oozie、Airflow）
数据治理 （Ranger 、Sentry、Atlas） 可视化 （Kibana 、D3.js、ECharts）
数据挖掘 （Mahout 、MADlib 、Spark ML、TensorFlow、Keras）
云平台 （Amazon S3、GCP、Microsoft Azure）
以上是关于数据湖：各模块组件的主要内容，如果未能解决你的问题，请参考以下文章