大数据技术栈，主要有哪些

Posted 2020-12-13 非洲羚羊

往大数据方向发展需要学哪些技术？网上一搜真是指不胜屈。对于小白来说，实在是一头雾水，到底哪些是当下流行的？哪些是必须要先学会的？流行？主次搞不清。为了解决这些疑惑，羚羊专门花了些时间，  挨个技术去研究对比归类，大概总结出以下的技术点：

文件存储： Hadoop HDFS、GFS、KFS、Tachyon
离线计算： Hadoop MapReduce、Spark
流式、实时计算：flink、Storm、JStorm、Spark Structured Streaming、Heron、Spark Streaming
存储格式：kudu、ORC、Apache Parquet、CarbonData
数据库： HBase、Redis、MongoDB、Couchbase、LevelDB、Apache Cassandra、Ignite、TiDB
资源管理： YARN、Mesos
日志收集： Flume、Scribe、Logstash、FileBeat
消息系统： Kafka、StormMQ、ZeroMQ、RabbitMQ、Confluent Platform
在线、离线查询搜索分析： Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Kylin、Druid、ClickHouse、Elasticsearch
数据可视化查询分析工具：Apache Zeppelin、Kibana
分布式协调服务：Zookeeper
集群管理与监控：Ambari、Ganglia、Nagios、Cloudera Manager
数据同步： Sqoop、DataX、Cannal、Maxwell、Debezium、DataBus
任务调度： Azkaban、Oozie
数据安全：Apache Eagle
机器学习、数据挖掘：Spark MLLib、Mahout

 下图是羚羊根据当下流行的大数据技术点，结合之前的项目经验，基于HDFS文件系统搭建了一个基本的、通用的完整大数据平台技术架构。一切的技术都是来源于不同的需求场景，所以根据不同的产品需求搭建出来的技术架构也会有差异。

【版权声明】

本文版权归作者(深圳伊人网网络有限公司)和博客园共有，欢迎转载，但未经作者同意必须在文章页面给出原文链接，否则保留追究法律责任的权利。如您有任何商业合作或者授权方面的协商，请给我留言：[e-mail]