学习大数据，你的职业是如何规划的？

Posted 2022-03-21

作为IT类职业中的“大熊猫”，大数据人才（数据工程师，数据分析师，数据挖掘师，算法工程师等）、在国内人才市场可谓是一颗闪耀的新星。由于刚刚出于萌芽阶段，这个领域出现很大的人才缺口。

学习大数据，你的职业是如何规划的？

1 大数据人才做什么？

2 需要具备的能力

2.1 精通SQL

2.2 数据模型技能

2.3 ETL设计

2.4 架构项目

3 知识体系

机器学习基础

机器学习工具

3.1 大数据通用处理平台

3.2 分布式存储

3.3 资源调度

3.4 机器学习工具

3.5 数据分析/数据仓库(SQL类)

3.6 消息队列

3.7 流式计算

3.8 日志收集

3.9 编程语言

3.10 数据分析挖掘

3.11 数据可视化

3.12 机器学习

4 大数据人才的职业发展

4.1 薪酬待遇

4.2 职业发展路径

1 大数据人才做什么？

大数据是眼下非常时髦的技术名词，与此同时自然也催生出了一些与大数据处理相关的职业，通过对数据的挖掘分析来影响企业的商业决策。大数据工程师就是一群“玩数据”的人，玩出数据的商业价值，让数据变成生产力。大数据和传统数据的最大区别在于，它是在线的、实时的，规模海量且形式不规整，无章法可循，因此“会玩”这些数据的人就很重要。

大数据开发学习有一定难度，零基础入门首先要学习Java语言打基础，一般而言，Java学习SE、EE，需要约3个月的时间；然后进入大数据技术体系的学习，主要学习Hadoop、Spark、Storm等，从零基础到精通学习大数据扣扣群606859705分享大数据学习资源，有大佬指导学习，学习路线清晰
。
因此，分析历史、预测未来、优化选择，这是大数据人才在“玩数据”时最重要的三大任务。通过这三个工作方向，他们帮助企业做出更好的商业决策，找出最优化的结果。

2 需要具备的能力

2.1 精通SQL

如果英语是业务的交流工具，那么SQL就是数据的交流工具。一个不会流利的英语的业务人员能有多大的成就？不管任何技术时代的产生和更替，SQL一直是数据的通用语。数据工程师应该有能用SQL表达任何‘相关子查询’和窗口函数复杂度的技术能力。对数据工程师来说初始SQL／DML/DDL简单到根本没有难度。即使是没有接触过SQL的人，他也能读懂并明白数据库的执行计划，了解所有步骤，知道程序怎么被调用，连接算法的不同和执行计划内的分布式维度。

2.2 数据模型技能

作为一个数据工程师，有对实体－关系模型的认知反射，规范化的清晰认识，权衡反规范化的敏锐直觉。数据工程师应该熟悉维度建模及相关概念与术语。

2.3 ETL设计

能够写出有效率、有弹性的、“可发展”的ETL任务是一个关键。

2.4 架构项目

就如任何一个领域的专家的专业技能一样，数据工程师需要一个较高层次的综括，对大多数的工具，平台，库，和其他供他支配的资源的了解。认识到不同类型的数据库、计算引擎、流处理器、消息队列、工作流协调器、序列化格式及其他相关技术的属性、用例、微妙之处。在设计解决方案的时候，他应该有能力选择即将要使用的技术，并有一个构想去协调怎么使他们一起更好地工作。

3 知识体系

3.1 大数据通用处理平台

Spark

Flink

Hadoop

3.2 分布式存储

HDFS

3.3 资源调度

Yarn

Mesos

3.4 机器学习工具

Mahout

Spark Mlib

TensorFlow (Google 系)

Amazon Machine Learning

DMTK (微软分布式机器学习工具)

3.5 数据分析/数据仓库(SQL类)

Pig

Hive

kylin

Spark SQL,

Spark DataFrame

Impala

Phoenix

ELK

ElasticSearch

Logstash

Kibana

3.6 消息队列

Kafka(纯日志类，大吞吐量)

RocketMQ

ZeroMQ

ActiveMQ

RabbitMQ

3.7 流式计算

Storm/JStorm

Spark Streaming

Flink

3.8 日志收集

Scribe

Flume

3.9 编程语言

Java

Python

R

Ruby

Scala

3.10 数据分析挖掘

MATLAB

SPSS

SAS

3.11 数据可视化

R

D3.js

ECharts

Excle

Python

3.12 机器学习

机器学习基础

聚类

时间序列

推荐系统

回归分析

文本挖掘

决策树

支持向量机

贝叶斯分类

神经网络

深度学习

机器学习工具

Mahout

Spark Mlib

TensorFlow (Google 系)

Amazon Machine Learning

DMTK (微软分布式机器学习工具)

4 大数据人才的职业发展

4.1 薪酬待遇

作为IT类职业中的“大熊猫”，大数据人才的收入待遇可以说达到了同类的顶级。国内IT、通讯、行业招聘中，有10％都是和大数据相关的，且比例还在上升。在美国，大数据工程师平均每年薪酬高达17.5万美元，而据了解，在国内顶尖互联网类公司，同一个级别大数据工程师的薪酬可能要比其他职位高20％至30％，且颇受企业重视。

4.2 职业发展路径

由于大数据人才数量较少，因此大多数公司的数据部门一般都是扁平化的层级模式，大致分为数据分析师、资深研究员、部门总监3个级别。大公司可能按照应用领域的维度来划分不同团队，而在小公司则需要身兼数职。有些特别强调大数据战略的互联网公司则会另设最高职位—如阿里巴巴的首席数据官。这个职位的大部分人会往研究方向发展，成为重要数据战略人才。另一方面，大数据工程师对商业和产品的理解，并不亚于业务部门员工，因此也可转向产品部或市场部，乃至上升为公司的高级管理层。