阿里年薪50万的JAVA工程师转大数据学习路线

Posted 2021-01-19

大数据有两个方向，一个是偏计算机的，另一个是偏经济的。你学过Java，所以你可以偏将计算机的。

Java程序员想转大数据可行吗？Java是全世界使用人数最多的编程语言。不少程序员选择Java做为了自己的编程第一语言，但随之而来的是Java程序员接近饱和的人才市场。由此，随着大数据时代的到来，有很多Java程序员想要转行大数据。 不得不说，大数据行业可以说是为Java程序员量身打造的一个朝阳行业？为什么要这么说呢？

互联网是当下流行趋势，且未来可期。大数据的发展亦是时代发展的必然，如果大家还想要了解更多大数据的相关问题，欢迎加入qq群：458345782，有大量干货（零基础以及进阶的经典实战）分享给大家，并且有清华大学毕业的资深大数据讲师给大家免费授课，给大家分享目前国内最完整的大数据高端实战实用学习流程体系

一、目前我国并没有科班出身的大数据专业人才（海归除外）

由于大数据行业在我国刚刚兴起，我国高等教育反应相对滞后，因此，直到今年，我国才通过了35家高校的申请，开通了大数据专业，也就是说，在最近的这3-4年间，我国是没有“国产”的科班大数据人才的。近100%的大数据人才都是半路出家，因此Java程序员想要转行大数据并不需要有太大的心理压力，相对于其他大多数专业，Java专业已经与大数据十分接近了。

二、Java与大数据相关性强，转行容易

Java转行大数据有着先天的优势。因为Java是大数据技术的基础语言，大数据技术中大多数平台使用的都是Java语言。因此，对于大数据技术的学习来说，Java程序员已经占尽了先机。在别的学员都还在研究Java编程时，Java程序员已经可以开始进行大数据核心技术的学习了。加上Java编程学习中所锻炼的程序员专业的思维方式，能帮助Java程序员理解大数据相关知识更加容易。

总而言之，Java程序员学习大数据具有很多别人不具备的先天优势，相信学习起大数据来也是如鱼得水，游刃有余。想要转行大数据的Java程序员不用顾虑太多，时代的机遇稍纵即逝，及时抓住才是硬道理。

三 、大数据的学习技术点

Hadoop核心

(1) 分布式存储基石：HDFS

HDFS简介 入门演示 构成及工作原理解析：数据块，NameNode, DataNode、数据写入与读取过程、数据复制、HA方案、文件类型、 HDFS常用设置 Java API代码演示

(2) 分布式计算基础：MapReduce

MapReduce简介、编程模型、Java API 介绍、编程案例介绍、MapReduce调优

(3) Hadoop集群资源管家：YARN

YARN基本架构 资源调度过程 调度算法 YARN上的计算框架

离线计算

(1) 离线日志收集利器：Flume

Flume简介 核心组件介绍 Flume实例：日志收集、适宜场景、常见问题

(2) 离线批处理必备工具：Hive

Hive在大数据平台里的定位、总体架构、使用场景之Access Log分析 Hive DDL&DML介绍 视图 函数（内置，窗口，自定义函数） 表的分区、分桶和抽样 优化

(3) 速度更快的Hive：Impala

Impala在大数据架构中的角色 架构 数据处理过程 一般使用步骤：创建表，分区表，查询等 常用查询演示：统计，连接等、Impala与Hive的比较 常用配置与最佳使用建议（查错，调优等）

(4) 更快更强更好用的MR：Spark

Scala&Spark简介 基础 Spark编程（计算模型RDD、算子Transformation和Actions的使用、使用Spark制作倒排索引）Spark SQL和DataFrame 实例：使用Spark SQL统计页面PV和UV

实时计算

(1) 流数据集成神器：Kafka

Kafka简介 构成及工作原理解析 4组核心API 生态圈 代码演示：生产并消费行为日志

(2) 实时计算引擎：Spark Streaming

Spark Streaming简介 工作原理解剖 编写Streaming程序的一般过程 如何部署Streaming程序？ 如何监控Streaming程序？ 性能调优

(3) 海量数据高速存取数据库：HBase

HBase简介 架构及基本组件 HBase Table设计 HBase基本操作 访问HBase的几种方式

大数据ETL

(1) ETL神器：Sqoop，Kettle

数据同步ETL介绍 Kettle常用组件介绍 、抽取mysql数据到Hive实战 Sqoop介绍、抽取Hive数据到Mysql实战

(2) 任务调度双星：Oozie，Azkaban

ETL与计算任务的统一管理和调度简介 Crontab调度的方案 自研调度系统的方案 开源系统Oozie和Azkaban 方案总结与经验分享

大数据应用与数据挖掘

(1) 大数据全文检索引擎：Elasticsearch

全文检索基础知识，ES安装及初级介绍，ES深入理解，使用经验介绍

(2) 数据仓库搭建

为什么要构建大数据平台 大数据平台的的经典架构 深入剖析“五横一纵”的架构实践 知名互联网公司大数据平台架构简介

(3) 数据可视化

什么是数据可视化，数据可视化常用工具与必备技能介，Tableau和ECharts实操讲解 ECharts介绍，知名互金公司可视化经验介绍

(4) 算法介绍

介绍数据挖掘，机器学习，深度学习的区别，R语言和python的介绍，逻辑回归算法的介绍与应用，以及主要的推荐算法介绍

互联网是当下流行趋势，且未来可期。大数据的发展亦是时代发展的必然，如果大家还想要了解更多大数据的相关问题，欢迎加入qq群：458345782，有大量干货（零基础以及进阶的经典实战）分享给大家，并且有清华大学毕业的资深大数据讲师给大家免费授课，给大家分享目前国内最完整的大数据高端实战实用学习流程体系