大数据行业挺火的，苦X已工作工科硕士如何转行大数据

Posted 2023-05-04

参考技术A 硕士研究生可分为普通硕士和专业硕士两类。 【普通硕士】 根据我国的有关规定，普通硕士教育以培养教学和科研人才为主，授予学位的类型主要是学术型学位。 目前，我国学术型学位按招生学科门类分为12大类，12大类下面再分为88个一级学科 参考技术B

转行这个词汇，一直是职场上此起彼伏的一个热门话题，相信很多朋友都想过或已经经历过转行。工作可谓是我们生存乃至生活的主要收入来源，谁都希望拥有一份高薪又稳定的工作，以此来改善自己的生活和实现自己的大大小小的梦想!但又担心转行后的工作待遇达不到自己的预期，顾虑重重……

不少想进入大数据分析行业的零基础学员经常会有这样一些疑问：大数据分析零基础应该怎么学习?自己适合学习大数据分析吗?人生，就是在不断地做选择，然后在这个选择过程中成长，让自己从一棵小树苗变成参天大树。就是我们每个对大数据充满幻想终于下定决心行动的学员的选择，我们给了自己4个月的时间，想要在大数据分析这个领域汲取养分，让自己壮大成长。

【明确方向】

通过国家的战略规划，看到BAT的大牛们都在大数据行业布局，新闻媒体追捧这大数据分析行业的项目和热点，我想如果我还没有能力独立判断的时候，跟着国家政策和互联网大佬们的步调走，这应该是错不了的。

【付诸行动】

明确了方向之后，我就整装待发，刚开始是在网络上购买了很多的视频教程，也买了很多书籍，但是最大的问题就在于，我不知道怎么入手，没关系，有信心有耐心肯定能战胜困难，我坚持了一个月，学习的节奏越来越乱，陆陆续续出现了很多的问题，没人指导，请教了几个业内的朋友，但对方工作繁忙，问了几次之后就不好意思了，自学陷入了死循环。

意识到我学习效率的低下，以及无人指导的问题想想未来的康庄大道，咬咬牙告诉自己，一定好好好学，不然就浪费太多时间最后还会是一无所获。最后找到组织(AAA教育)一起学习进步!

大数据分析零基础学习路线，有信心能坚持学习的话，那就当下开始行动吧!

一、大数据技术基础

1、linux操作基础

linux系统简介与安装

linux常用命令–文件操作

linux常用命令–用户管理与权限

linux常用命令–系统管理

linux常用命令–免密登陆配置与网络管理

linux上常用软件安装

linux本地yum源配置及yum软件安装

linux防火墙配置

linux高级文本处理命令cut、sed、awk

linux定时任务crontab

2、shell编程

shell编程–基本语法

shell编程–流程控制

shell编程–函数

shell编程–综合案例–自动化部署脚本

3、内存数据库redis

redis和nosql简介

redis客户端连接

redis的string类型数据结构操作及应用-对象缓存

redis的list类型数据结构操作及应用案例-任务调度队列

redis的hash及set数据结构操作及应用案例-购物车

redis的sortedset数据结构操作及应用案例-排行榜

4、布式协调服务zookeeper

zookeeper简介及应用场景

zookeeper集群安装部署

zookeeper的数据节点与命令行操作

zookeeper的java客户端基本操作及事件监听

zookeeper核心机制及数据节点

zookeeper应用案例–分布式共享资源锁

zookeeper应用案例–服务器上下线动态感知

zookeeper的数据一致性原理及leader选举机制

5、java高级特性增强

Java多线程基本知识

Java同步关键词详解

java并发包线程池及在开源软件中的应用

Java并发包消息队里及在开源软件中的应用

Java JMS技术

Java动态代理反射

6、轻量级RPC框架开发

RPC原理学习

Nio原理学习

Netty常用API学习

轻量级RPC框架需求分析及原理分析

轻量级RPC框架开发

二、离线计算系统

1、hadoop快速入门

hadoop背景介绍

分布式系统概述

离线数据分析流程介绍

集群搭建

集群使用初步

2、HDFS增强

HDFS的概念和特性

HDFS的shell(命令行客户端)操作

HDFS的工作机制

NAMENODE的工作机制

java的api操作

案例1：开发shell采集脚本

3、MAPREDUCE详解

自定义hadoop的RPC框架

Mapreduce编程规范及示例编写

Mapreduce程序运行模式及debug方法

mapreduce程序运行模式的内在机理

mapreduce运算框架的主体工作流程

自定义对象的序列化方法

MapReduce编程案例

4、MAPREDUCE增强

Mapreduce排序

自定义partitioner

Mapreduce的combiner

mapreduce工作机制详解

5、MAPREDUCE实战

maptask并行度机制-文件切片

maptask并行度设置

倒排索引

共同好友

6、federation介绍和hive使用

Hadoop的HA机制

HA集群的安装部署

集群运维测试之Datanode动态上下线

集群运维测试之Namenode状态切换管理

集群运维测试之数据块的balance

HA下HDFS-API变化

hive简介

hive架构

hive安装部署

hvie初使用

7、hive增强和flume介绍

HQL-DDL基本语法

HQL-DML基本语法

HIVE的join

HIVE 参数配置

HIVE 自定义函数和Transform

HIVE 执行HQL的实例分析

HIVE最佳实践注意点

HIVE优化策略

HIVE实战案例

Flume介绍

Flume的安装部署

案例：采集目录到HDFS

案例：采集文件到HDFS

三、流式计算

1、Storm从入门到精通

Storm是什么

Storm架构分析

Storm架构分析

Storm编程模型、Tuple源码、并发度分析

Storm WordCount案例及常用Api分析

Storm集群部署实战

Storm+Kafka+Redis业务指标计算

Storm源码下载编译

Strom集群启动及源码分析

Storm任务提交及源码分析

Storm数据发送流程分析

Storm通信机制分析

Storm消息容错机制及源码分析

Storm多stream项目分析

编写自己的流式任务执行框架

2、Storm上下游及架构集成

消息队列是什么

Kakfa核心组件

Kafka集群部署实战及常用命令

Kafka配置文件梳理

Kakfa JavaApi学习

Kafka文件存储机制分析

Redis基础及单机环境部署

Redis数据结构及典型案例

Flume快速入门

Flume+Kafka+Storm+Redis整合

四、内存计算体系Spark

1、scala编程

scala编程介绍

scala相关软件安装

scala基础语法

scala方法和函数

scala函数式编程特点

scala数组和集合

scala编程练习(单机版WordCount)

scala面向对象

scala模式匹配

actor编程介绍

option和偏函数

实战：actor的并发WordCount

柯里化

隐式转换

2、AKKA与RPC

Akka并发编程框架

实战：RPC编程实战

3、Spark快速入门

spark介绍

spark环境搭建

RDD简介

RDD的转换和动作

实战：RDD综合练习

RDD高级算子

自定义Partitioner

实战：网站访问次数

广播变量

实战：根据IP计算归属地

自定义排序

利用JDBC RDD实现数据导入导出

WorldCount执行流程详解

4、RDD详解

RDD依赖关系

RDD缓存机制

RDD的Checkpoint检查点机制

Spark任务执行过程分析

RDD的Stage划分

5、Spark-Sql应用

Spark-SQL

Spark结合Hive

DataFrame

实战：Spark-SQL和DataFrame案例

6、SparkStreaming应用实战

Spark-Streaming简介

Spark-Streaming编程

实战：StageFulWordCount

Flume结合Spark Streaming

Kafka结合Spark Streaming

窗口函数

ELK技术栈介绍

ElasticSearch安装和使用

Storm架构分析

Storm编程模型、Tuple源码、并发度分析

Storm WordCount案例及常用Api分析

7、Spark核心源码解析

Spark源码编译

Spark远程debug

Spark任务提交行流程源码分析

Spark通信流程源码分析

SparkContext创建过程源码分析

DriverActor和ClientActor通信过程源码分析

Worker启动Executor过程源码分析

Executor向DriverActor注册过程源码分析

Executor向Driver注册过程源码分析

DAGScheduler和TaskScheduler源码分析

Shuffle过程源码分析

Task执行过程源码分析

五、机器学习算法

1、python及numpy库

机器学习简介

机器学习与python

python语言–快速入门

python语言–数据类型详解

python语言–流程控制语句

python语言–函数使用

python语言–模块和包

phthon语言–面向对象

python机器学习算法库–numpy

机器学习必备数学知识–概率论

2、常用算法实现

knn分类算法–算法原理

knn分类算法–代码实现

knn分类算法–手写字识别案例

lineage回归分类算法–算法原理

lineage回归分类算法–算法实现及demo

朴素贝叶斯分类算法–算法原理

朴素贝叶斯分类算法–算法实现

朴素贝叶斯分类算法–垃圾邮件识别应用案例

kmeans聚类算法–算法原理

kmeans聚类算法–算法实现

kmeans聚类算法–地理位置聚类应用

决策树分类算法–算法原理

决策树分类算法–算法实现

时下的大数据分析时代与人工智能热潮，相信有许多对大数据分析师非常感兴趣、跃跃欲试想着转行的朋友，但面向整个社会，最不缺的其实就是人才，对于是否转行大数据分析行列，对于能否勇敢一次跳出自己的舒适圈，不少人还是踌躇满志啊!毕竟好多决定，一旦做出了就很难再回头了。不过如果你已经转行到大数据分析领域，就不要后悔，做到如何脱颖而出才是关键。因此本文给出一些建议，针对想要转行大数据分析行列且是零基础转行的小伙伴们，希望对你们有所裨益，也希望你们将来学有所成，不后悔，更不灰心!

相关推荐：

《转行大数据分析师后悔了》、《ui设计培训四个月骗局大爆料》、《零基础学大数据分析现实吗》、《大数据分析十八般工具》、《大数据分析流程是什么》、《大数据分析12大就业方向》

985在读硕士晓文大数据学习之路1:出发

1.个人情况和转行原因：

        哈喽大家我是晓文，目前本硕就读于某985的传统工科（电子信息方向），目前研一。在这个夕阳行业挣扎浪费了好几年的时间终于还是决心走出来。传统行业的培养导向是成绩决定论的，本科前三年学院里绩点(加权分数)为王的风气，让学生们进入无意义内耗之中。但卷成绩从客观来看又是必要的，由于所学知识跟社会企业是脱轨的，本科毕业如果无法通过保研或者考研升学，就只能去官僚作风盛行的国企，干着中学生就足以胜任的机械性工作，要么选调考公从基层开始磨资历，总之通向上层的道路是狭窄的，人生是一眼望到头的。

       研究生毕业上下限会比本科高一些，但去处还是那些，传统工科为数不多的好处在博士阶段才展现出来，进高校，研究院，企业研发部门，但这个跟运气很相关，至少我对目前能够接触到的科研方向并不那么看好，或者说付出相同的努力我相信在互联网这个环境回报会更大。

2.对转码（码农）的认识：

      让我对转码抱有信心的是一些表面上并不相关现象，本科期间有人四年内学习很努力、成绩刷得很高的，在年级里处于人际上的优势地位，也有人成绩平平、在年级里默默无名，但也由此下定决心，放弃课业成绩准备考研，结果后者通过一年甚至几个月的时间考上了top2，而前者只是普普通通地保了本校。

       这个对比的重点不在于评价这两种路线孰优孰劣，而在于局势的扭转是充满可能性的，一年的潜心准备就翻盘了本科前三年的格局。不破不立，或许正是这种前瞻性的决定，破釜沉舟、直面风险的勇气，和持之以恒的努力导致了境遇的差别。本科期间考研保研的抉择，与如今转不转码的抉择的核心是相通的，放弃之前投入的沉没成本，更加努力的投入不同的道路，最终弯道超车。

 3.对于行业的认识：

       我转码的想法是从大三开始的，最开始接触是由于机器学习深度学习发展得很快，几年的时间就市场化到了很高的程度，CV领域人脸识别的落地，推荐领域的各种电商广告推荐，所以一开始转码的目标是算法相关，但算法非科班靠个人的话还是蛮难走的，虽然打了一些kaggle天池的比赛，但没有顶会论文心里还是相当的没底。

      所以从研一开始目标转向了java后端，这个还算是蛮好学的，java语言入门起来很快，看懂一些集合类的底层源码，有数据结构的基础的话刷力扣基本没有什么太大的阻力，网络，SQL，操作系统的东西多学几遍，赶超大部分科班生也是可以做到的。

      在后端的道路上推进的过程中才接触到的大数据，我理解上大数据是在后端的基础上，处理更加海量的数据，为深度学习等算法提供数据基础的，或许做这个方向，我不至于完全抛弃之前学过的算法知识，而且在大数据时代，这个方向肯定是大中型企业比较重视的。既然方向前景和基础储备都没问题，那接下来就是努力了，通过学习记录(主要是大数据的学习，数据结构，java基础，包括推荐算法相关的可能也会写写?)的方式更好地坚持下去。

4.学习方法：

       就转码自学的经验，关于计算机网上的资料特别多，重点在于利用好这些资源，为自己所用，不能在庞杂的信息中迷失了方向，网课视频有利于推进进度，博客文档或者专业书籍论文更有深度，可能不同的时间不同的状态有更合适的学习方法，重点就在于进度不能停滞，以来一旦停滞，出于惰性再捡起来就很困难了，可以先把疑难的点记录下来，继续推进可能回过头来再看就更加能够理解了。持之以恒的努力是困难的，无压力的安逸生活对于无监管状态的大学生是甘美的毒药，跳出舒适圈才能站在全局思考做什么是真正对未来有帮助的，避免“一叶障目”。

      后续我将和涤生大数据团队小伙伴一起学习，同时记录我转行进入大数据行业的所有心得，技术笔记，学习路线，直到我拿到心仪的offer,求职成功。感兴趣的小伙伴也一起加入我们交流学习吧，抱团成长。

       以上既为现在或未来处于相似境况的读者提供参考，也作为个人的反思和自勉。