IT技术人员转行大数据应该考虑哪些问题

Posted 2023-05-04

1、丰富的数据开发经验，对数据处理、数据建模、数据分析等有深刻认识和实战经验。
2、熟悉SQL，有一定的SQL性能优化经验。
3、熟练掌握Java语言，MapReduce编程，脚本语言Shell/Python/Perl之一。
4、业务理解力强，对数据、新技术敏感，对云计算、大数据技术充满热情。
5、深入理解Map-Reduce模型，对Hadoop、Spark、Storm等大规模数据存储与运算平台有实践经验。
这五点因素并代表全部，只是为大家罗列出一些基础的技能，但这也能够给一些转行者提供一些方向。 参考技术A

转行这个词汇，一直是职场上此起彼伏的一个热门话题，相信很多朋友都想过或已经经历过转行。工作可谓是我们生存乃至生活的主要收入来源，谁都希望拥有一份高薪又稳定的工作，以此来改善自己的生活和实现自己的大大小小的梦想!但又担心转行后的工作待遇达不到自己的预期，顾虑重重……

不少想进入大数据分析行业的零基础学员经常会有这样一些疑问：大数据分析零基础应该怎么学习?自己适合学习大数据分析吗?人生，就是在不断地做选择，然后在这个选择过程中成长，让自己从一棵小树苗变成参天大树。就是我们每个对大数据充满幻想终于下定决心行动的学员的选择，我们给了自己4个月的时间，想要在大数据分析这个领域汲取养分，让自己壮大成长。

【明确方向】

通过国家的战略规划，看到BAT的大牛们都在大数据行业布局，新闻媒体追捧这大数据分析行业的项目和热点，我想如果我还没有能力独立判断的时候，跟着国家政策和互联网大佬们的步调走，这应该是错不了的。

【付诸行动】

明确了方向之后，我就整装待发，刚开始是在网络上购买了很多的视频教程，也买了很多书籍，但是最大的问题就在于，我不知道怎么入手，没关系，有信心有耐心肯定能战胜困难，我坚持了一个月，学习的节奏越来越乱，陆陆续续出现了很多的问题，没人指导，请教了几个业内的朋友，但对方工作繁忙，问了几次之后就不好意思了，自学陷入了死循环。

意识到我学习效率的低下，以及无人指导的问题想想未来的康庄大道，咬咬牙告诉自己，一定好好好学，不然就浪费太多时间最后还会是一无所获。最后找到组织一起学习进步!

大数据分析零基础学习路线，有信心能坚持学习的话，那就当下开始行动吧!

一、大数据技术基础

1、linux操作基础

linux系统简介与安装

linux常用命令–文件操作

linux常用命令–用户管理与权限

linux常用命令–系统管理

linux常用命令–免密登陆配置与网络管理

linux上常用软件安装

linux本地yum源配置及yum软件安装

linux防火墙配置

linux高级文本处理命令cut、sed、awk

linux定时任务crontab

2、shell编程

shell编程–基本语法

shell编程–流程控制

shell编程–函数

shell编程–综合案例–自动化部署脚本

3、内存数据库redis

redis和nosql简介

redis客户端连接

redis的string类型数据结构操作及应用-对象缓存

redis的list类型数据结构操作及应用案例-任务调度队列

redis的hash及set数据结构操作及应用案例-购物车

redis的sortedset数据结构操作及应用案例-排行榜

4、布式协调服务zookeeper

zookeeper简介及应用场景

zookeeper集群安装部署

zookeeper的数据节点与命令行操作

zookeeper的java客户端基本操作及事件监听

zookeeper核心机制及数据节点

zookeeper应用案例–分布式共享资源锁

zookeeper应用案例–服务器上下线动态感知

zookeeper的数据一致性原理及leader选举机制

5、java高级特性增强

Java多线程基本知识

Java同步关键词详解

java并发包线程池及在开源软件中的应用

Java并发包消息队里及在开源软件中的应用

Java JMS技术

Java动态代理反射

6、轻量级RPC框架开发

RPC原理学习

Nio原理学习

Netty常用API学习

轻量级RPC框架需求分析及原理分析

轻量级RPC框架开发

二、离线计算系统

1、hadoop快速入门

hadoop背景介绍

分布式系统概述

离线数据分析流程介绍

集群搭建

集群使用初步

2、HDFS增强

HDFS的概念和特性

HDFS的shell(命令行客户端)操作

HDFS的工作机制

NAMENODE的工作机制

java的api操作

案例1：开发shell采集脚本

3、MAPREDUCE详解

自定义hadoop的RPC框架

Mapreduce编程规范及示例编写

Mapreduce程序运行模式及debug方法

mapreduce程序运行模式的内在机理

mapreduce运算框架的主体工作流程

自定义对象的序列化方法

MapReduce编程案例

4、MAPREDUCE增强

Mapreduce排序

自定义partitioner

Mapreduce的combiner

mapreduce工作机制详解

5、MAPREDUCE实战

maptask并行度机制-文件切片

maptask并行度设置

倒排索引

共同好友

6、federation介绍和hive使用

Hadoop的HA机制

HA集群的安装部署

集群运维测试之Datanode动态上下线

集群运维测试之Namenode状态切换管理

集群运维测试之数据块的balance

HA下HDFS-API变化

hive简介

hive架构

hive安装部署

hvie初使用

7、hive增强和flume介绍

HQL-DDL基本语法

HQL-DML基本语法

HIVE的join

HIVE 参数配置

HIVE 自定义函数和Transform

HIVE 执行HQL的实例分析

HIVE最佳实践注意点

HIVE优化策略

HIVE实战案例

Flume介绍

Flume的安装部署

案例：采集目录到HDFS

案例：采集文件到HDFS

三、流式计算

1、Storm从入门到精通

Storm是什么

Storm架构分析

Storm架构分析

Storm编程模型、Tuple源码、并发度分析

Storm WordCount案例及常用Api分析

Storm集群部署实战

Storm+Kafka+Redis业务指标计算

Storm源码下载编译

Strom集群启动及源码分析

Storm任务提交及源码分析

Storm数据发送流程分析

Storm通信机制分析

Storm消息容错机制及源码分析

Storm多stream项目分析

编写自己的流式任务执行框架

2、Storm上下游及架构集成

消息队列是什么

Kakfa核心组件

Kafka集群部署实战及常用命令

Kafka配置文件梳理

Kakfa JavaApi学习

Kafka文件存储机制分析

Redis基础及单机环境部署

Redis数据结构及典型案例

Flume快速入门

Flume+Kafka+Storm+Redis整合

四、内存计算体系Spark

1、scala编程

scala编程介绍

scala相关软件安装

scala基础语法

scala方法和函数

scala函数式编程特点

scala数组和集合

scala编程练习(单机版WordCount)

scala面向对象

scala模式匹配

actor编程介绍

option和偏函数

实战：actor的并发WordCount

柯里化

隐式转换

2、AKKA与RPC

Akka并发编程框架

实战：RPC编程实战

3、Spark快速入门

spark介绍

spark环境搭建

RDD简介

RDD的转换和动作

实战：RDD综合练习

RDD高级算子

自定义Partitioner

实战：网站访问次数

广播变量

实战：根据IP计算归属地

自定义排序

利用JDBC RDD实现数据导入导出

WorldCount执行流程详解

4、RDD详解

RDD依赖关系

RDD缓存机制

RDD的Checkpoint检查点机制

Spark任务执行过程分析

RDD的Stage划分

5、Spark-Sql应用

Spark-SQL

Spark结合Hive

DataFrame

实战：Spark-SQL和DataFrame案例

6、SparkStreaming应用实战

Spark-Streaming简介

Spark-Streaming编程

实战：StageFulWordCount

Flume结合Spark Streaming

Kafka结合Spark Streaming

窗口函数

ELK技术栈介绍

ElasticSearch安装和使用

Storm架构分析

Storm编程模型、Tuple源码、并发度分析

Storm WordCount案例及常用Api分析

7、Spark核心源码解析

Spark源码编译

Spark远程debug

Spark任务提交行流程源码分析

Spark通信流程源码分析

SparkContext创建过程源码分析

DriverActor和ClientActor通信过程源码分析

Worker启动Executor过程源码分析

Executor向DriverActor注册过程源码分析

Executor向Driver注册过程源码分析

DAGScheduler和TaskScheduler源码分析

Shuffle过程源码分析

Task执行过程源码分析

五、机器学习算法

1、python及numpy库

机器学习简介

机器学习与python

python语言–快速入门

python语言–数据类型详解

python语言–流程控制语句

python语言–函数使用

python语言–模块和包

phthon语言–面向对象

python机器学习算法库–numpy

机器学习必备数学知识–概率论

2、常用算法实现

knn分类算法–算法原理

knn分类算法–代码实现

knn分类算法–手写字识别案例

lineage回归分类算法–算法原理

lineage回归分类算法–算法实现及demo

朴素贝叶斯分类算法–算法原理

朴素贝叶斯分类算法–算法实现

朴素贝叶斯分类算法–垃圾邮件识别应用案例

kmeans聚类算法–算法原理

kmeans聚类算法–算法实现

kmeans聚类算法–地理位置聚类应用

决策树分类算法–算法原理

决策树分类算法–算法实现

时下的大数据分析时代与人工智能热潮，相信有许多对大数据分析师非常感兴趣、跃跃欲试想着转行的朋友，但面向整个社会，最不缺的其实就是人才，对于是否转行大数据分析行列，对于能否勇敢一次跳出自己的舒适圈，不少人还是踌躇满志啊!毕竟好多决定，一旦做出了就很难再回头了。不过如果你已经转行到大数据分析领域，就不要后悔，做到如何脱颖而出才是关键。因此本文给出一些建议，针对想要转行大数据分析行列且是零基础转行的小伙伴们，希望对你们有所裨益，也希望你们将来学有所成，不后悔，更不灰心!

相关推荐：

《大数据分析师工作内容》、《转行大数据分析师后悔了》、《零基础学大数据分析现实吗》、《大数据分析要学什么》、《大数据分析方法》、《浅析大数据分析技术》、《大数据分析流程是什么》、《大数据分析十八般工具》、《大数据分析12大就业方向》

0基础文科女生，转行大数据或IT行业有可能吗？

首先，这个问题是我之前在知乎上回答过的一个问题。问题拿到今天来看，仍然非常具有代表性。想必，这个女生所问的问题也是许多网友们的共性问题，那么，我们就这个问题展开探讨，来揭秘你所不知道的大数据或互联网等IT研发工程师的世界。

很多初学者，对大数据的概念都是模糊不清的，大数据是什么，能做什么，学的时候，该按照什么线路去学习，学完往哪方面发展，想深入了解，想学习的同学欢迎加入大数据学习qq群：458345782，有大量干货（零基础以及进阶的经典实战）分享给大家，并且有清华大学毕业的资深大数据讲师给大家免费授课，给大家分享目前国内最完整的大数据高端实战实用学习流程体系。

IT行业当前待遇

首先，介绍一下大数据或IT行业为什么这么吸引年轻人入行？就拿刚刚过去的2017年的高校毕业生的秋招情况来说，以一线互联网城市为例，随便列举一下我所知道的薪资待遇情况：

美团 web前端开发，不区分本硕，白菜价月薪14.5k，第一年年薪预计25w左右；

华为研发工程师，白菜价14k(也有即极少数非核心研发不到这个工资，例如安全工程师，很难说能否算入研发行列)，一年发12个月基本工资，第一年2-4个月年终奖，还有额外你一个月的月末加班补贴。预计第一年年薪25W左右

去哪儿网研发工程师，白菜价11k，一年发17个月工资，预计年薪20W左右；

京东研发工程师，白菜价14k月薪，一年发13个月工资，预计第一年年薪将近20W;

除此之外，互联网巨头BAT的薪资待遇，第一年的年薪也大概25W左右。

但是相反，很多外包型软件公司的待遇却相差得差很多，例如上市公司华宇的子公司——华宇信息这个专门做电子政务的公司，在北京的月薪大致8400，几乎没有多少年终奖，预计年薪10W多一点。

我们简单列举上述几个例子，从这里面我们能够看到，从事传统软件行业和新兴的互联网行业的薪资差距十分巨大，这也映射出来，从事劳动密集型的外包型软件研发的待遇并没有比其他传统产业高特别多。也反映出IT从业人员的两级分化特别严重：顶层需求不足，底层又人员过剩。小编最终也听说过很多从事IT行业的人还没到中年，到了30岁所有就开始转行不再继续做IT方面的工作了。

互联网公司

为什么转行IT

这个问题可能比较尖锐，因为很多搞IT，互联网的人当初也不知道为什么就选择了这一行。有的是为了好找工作，有的就是当初大学学的就是本专业，还有的是出于真正的兴趣，也有的是被人带入“坑”了...

凡此种种，不一而足。但是，对于想要转行到IT行业的人来讲，或许更多的都是在乎想要找一个好的工作，想要提高薪资待遇。

那么，对于这种情况，我要提醒一下，IT圈并没有想象中的那么轻松，“钱多，话少，死得早”是一句IT圈从业者最广为人知的自嘲。在如IT圈之前，也要充分考虑到自己的个人兴趣爱好，以及家庭是否能够理解某些时候的加班情况。

因为，IT界，尤其是互联网行业，产品的更迭速度特别快，有的时候为了赶项目进度，不得不采取加班的措施，这是在所难免的事情。

码农的状态

多数答主的倾向

笔者在知乎上看到这个问题，多数的答主都是持反对意见的。笔者作为一名专业的互联网从业者，从事的是大数据研发，认为很多答主的意见确实很中肯。因为，文科出身底子薄，要学习的东西很多，一时难以吃得开，如果是工作后转行，甚至可能还要面临脱产学习的尴尬。

但是，笔者认为，如果您是一个非常感兴趣互联网这样产品的人，可以抱着试一试的心态先在网上听一下在线课程，选好自己的业务方向。其实，很多具体的业务场景，也不会涉及到太广泛的知识面，只不过，如果一直依靠繁重的编代码工作，到了30岁之后，体力跟不上了，很容易提前陷入中年危机。

不妨换个角度

从事互联网，IT行业，不一定就非得做研发。尤其是女生，可以尝试着从产品经理，HR等做起。女生在产品经理的工作上，相比男生是很有优势的。而且，从目前情况来看，从事产品经理等非研发行业的薪资水平也不低，大致能有同类研发工程师的70%薪资待遇。当然，劳动也没有码农那么大。不过，要想从事产品经理等外围职位，一定要有一个良好的交流能力，沟通技巧，否则做业务会很吃力的。

产品经理

几点期望

无论能否从事互联网、IT行业，多学习一点互联网知识，技能在当前社会是十分有必要的。世上没有什么难事，难的在于你肯不肯付出，肯不肯舍弃。从零基础到能够顺利入职的路途是艰难的，但是，这条路还是能走的。笔者见过一个本科学习化学，博士和硕士学习医学的人，毕业之后从事互联网研发工作。虽然他是理工科出身，要比文科出身容易得太多。但是，从侧面也展现出来了，互联网，IT行业是一个开放包容的环境，只要有技术，有能力，这扇大门一直是敞开的。