如何进入大数据领域，学习路线是啥？

Posted 2023-03-13

分享大数据学习路线：

第一阶段为JAVASE+mysql+JDBC

主要学习一些Java语言的概念，如字符、bai流程控制、面向对象、进程线程、枚举反射等，学习MySQL数据库的安装卸载及相关操作，学习JDBC的实现原理以及Linux基础知识，是大数据刚入门阶段。

第二阶段为分布式理论简介

主要讲解CAP理论、数据分布方式、一致性、2PC和3PC、大数据集成架构。涉及的知识点有Consistency一致性、Availability可用性、Partition tolerance分区容忍性、数据量分布、2PC流程、3PC流程、哈希方式、一致性哈希等。

第三阶段为数据存储与计算（离线场景）

主要讲解协调服务ZK(1T)、数据存储hdfs(2T)、数据存储alluxio(1T)、数据采集flume、数据采集logstash、数据同步Sqoop(0.5T)、数据同步datax(0.5T)、数据同步mysql-binlog(1T)、计算模型MR与DAG(1T)、hive(5T)、Impala(1T)、任务调度Azkaban、任务调度airflow等。

第四部分为数仓建设

主要讲解数仓仓库的历史背景、离线数仓项目-伴我汽车（5T）架构技术解析、多维数据模型处理kylin（3.5T）部署安装、离线数仓项目-伴我汽车升级后加入kylin进行多维分析等；

第五阶段为分布式计算引擎

主要讲解计算引擎、scala语言、spark、数据存储hbase、redis、kudu，并通过某p2p平台项目实现spark多数据源读写。

第六阶段为数据存储与计算（实时场景）

主要讲解数据通道Kafka、实时数仓druid、流式数据处理flink、SparkStreaming，并通过讲解某交通大数让你可以将知识点融会贯通。

第七阶段为数据搜索

主要讲解elasticsearch，包括全文搜索技术、ES安装操作、index、创建索引、增删改查、索引、映射、过滤等。

第八阶段为数据治理

主要讲解数据标准、数据分类、数据建模、图存储与查询、元数据、血缘与数据质量、Hive Hook、Spark Listener等。

第九阶段为BI系统

主要讲解Superset、Graphna两大技术，包括基本简介、安装、数据源创建、表操作以及数据探索分析。

第十阶段为数据挖掘

主要讲解机器学习中的数学体系、Spark Mlib机器学习算法库、Python scikit-learn机器学习算法库、机器学习结合大数据项目。

对大数据分析有兴趣的小伙伴们，不妨先从看看大数据分析书籍开始入门！B站上有很多的大数据教学视频，从基础到高级的都有，还挺不错的，知识点讲的很细致，还有完整版的学习路线图。也可以自己去看看，下载学习试试。

参考技术A 学习大数据开发的第一个阶段：了解大数据的理论知识
学习一门课程，首先你对这门课程要有简单的了解，比如说要先学习这门课程的一些专业术语，学习一些入门的概念，知道这门课程是做什么的，主要学习的有那些知识。学习大数据开发也是一样，你要知道什么是大数据，一般大数据主要运用在那些领域。避免自己在对大数据一无所知的情况下就开始盲目学习。

学习大数据开发的第二个阶段：计算机编程语言的学习
对于零基础的学员来说，开始入门可能不是那么容易，需要学习大量的理论知识，阅读枯燥的教材。因为要掌握一门计算机编程语言，大家都知道计算机编程语言有很多，比如：R，C++，JAVA等等。
学习大数据开发的第三阶段：大数据相关课程的学习
经过一段时间的基础学习之后，我们对编程语言也已经基本掌握了，接下来就可以进行大数据部分的课程学习了。在这里大数据开发学习要特别提醒大家：行业真正大数据，82%主讲都是hadoop、spark生态体系、storm实时开发等课程。而所谓“大数据”机构85%基本讲的都是JAVA/php数据或数据库学习（大数据课程含量不超过15%），初学者请务必认清你要学的是不是真正大数据！
学习大数据开发的第四个阶段：项目实战阶段
实战训练可以帮助我们更好的理解所学的内容，同时对相关知识加强记忆。在以后的实际运用中，可以更快的上手，对于相关知识该怎么用也有了经验。
学会这四个阶段在也不用担心零基础学不好大数据了。再说了学习嘛，只要你用心肯定能学会的，只要你付出就一定会有回报的！ 参考技术B

大数据学习路线

第1阶段 Java

第2阶段 JavaEE核心

第3阶段 Hadoop生态体系

第4阶段 大数据spark生态体系

参考技术C 大数据技术的学习内容有很多，包括：基础阶段：Linux、Docker、KVM、MySQL基础、Oracle基础、MongoDB、redis。 hadoop mapreduce hdfs yarn：hadoop：Hadoop 概念、版本、历史，HDFS工作原理，YARN介绍及组件介绍。大数据存储阶段：hbase、hive、sqoop。大数据架构设计阶段：Flume分布式、Zookeeper、Kafka。大数据实时计算阶段：Mahout、Spark、storm。大数据数据采集阶段：Python、Scala。大数据商业实战阶段：实操企业大数据处理业务场景，分析需求、解决方案实施，综合技术实战应用。 参考技术D 给你一个大数据学习的路线，你可以按照顺序学习
第一阶段
JavaSE基础核心
第二阶段
数据库关键技术
第三阶段
大数据基础核心
第四阶段
Spark生态体系框架&大数据高薪精选项目
第五阶段
Spark生态体系框架&企业无缝对接项目
第六阶段
Flink流式数据处理框架