数据职业的区别

Posted 终回首

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了数据职业的区别相关的知识,希望对你有一定的参考价值。

目录

网上找的一个能力图

上图来自于网络,如有侵权请告知,马上删除

数据分析师

一个合格的数据分析师需要掌握的能力与能力值(最高60):

能力能力值
业务50
数据可视化50
数据整理30
数据库30
数学30
编程20
大数据10

初级、高级数据分析师对比

能力初级数据分析师高级数据分析师
业务懂基本业务,可以提供(有什么分析)懂基本业务基础上,对业务有深刻的理解,既可以提供有什么,还可以关联分析、原因分析等
数据可视化基本掌握常用工具使用,偶尔需要高级分析师提供指导掌握常用工具使用,不懂的也可以自己研究去搞懂,可以指导初级分析师
数据整理掌握基本的数据收集、数据评估、数据清理能力掌握多种不同场景下的数据收集、数据评估、数据清理能力
数据库知道基本sql语法知道基本sql语法的同时,掌握sql的优化,了解一定的数据库原理
数学掌握高中数学掌握统计学、概率论
编程有简单的Python脚本编写能力有对Python一些三方库有了解和使用经验
大数据了解基本OLAP库的SQL语法了解不同场景下的OLAP库的SQL语法和查询优化

数据工程师

一个合格的数据工程师所需要掌握的能力与能力值

能力能力值
编程60
软件工程60
大数据60
数据工程60
数据库60
机器学习部署50
数据整理40
机器学习模型30
数学20
数据可视化20
业务20

可以看到数据工程师比数据分析师多出了以下能力:

  • 软件工程
  • 数据工程
  • 机器学习模型
  • 机器学习部署

同时在数据分析师已有的能力上有不同的侧重点。

假如一个合格的数据分析师在已有能力上再做些提升,同时在没有的能力上多加学习达到一定程度就可以成为一个数据工程师。

初级、高级数据工程师对比

能力初级数据工程师高级数据工程师
编程掌握Java、Scala、Python中的1种语言的基本使用掌握Java、Scala、Python中的2种语言,掌握基本使用、多线程、网络编程
软件工程能在高级工程师的帮助下完成自己的开发任务参与或主导项目开发的大部分流程:调研需求——>编写需求说明书——>需求书评审——>技术预研——>方案设计——>任务分配——>开发——>测试——>交付
大数据知道基本数仓的构建方法论和流程了解各种场景下离线或实时数仓的构建方法和流程,了解核心组件的原理
数据工程能用基本工具完成基本的抽取、转换、装载工作能基于场景选择最佳工具,完成抽取、转换、装载工作。了解核心工具基本原理。
数据库掌握sql编写能力、调优能力掌握sql开发能力、调优能力,懂至少一种开源数据库的原理
机器学习部署掌握基本机器学习部署掌握大部分机器学习部署流程,了解算法的原理
数据整理掌握基本的数据收集、数据评估、数据清理能力掌握多种不同场景下的数据收集、数据评估、数据清理能力
机器学习模型了解1种常见机器学习算法API,了解应用场景掌握常见机器学习算法API调用和原理,了解应用场景
数学掌握基本的高中数学掌握微积分、线性代数、概率论
数据可视化掌握基础的可视化技术掌握几种可视化技术
业务了解基本业务了解基本业务,同时了解不同业务线的关系和影响

机器学习工程师

一个合格的机器学习工程师所需要掌握的能力与能力值

能力能力值
编程60
软件工程60
大数据60
机器学习模型60
机器学习部署60
数据整理60
数据工程50
数据库50
数学50
数据可视化40
业务20

可以看到,机器学习工程师和数据工程师所需要的能力项是一样的,只是能力的侧重点有所不同。

假如一个合格的数据工程师在机器学习模型、机器学习部署、数学3个方向上能达到一定程度,就可以成为一个机器学习工程师。

初级、高级机器学习工程师对比

能力初级器学习工程师高级器学习工程师
编程掌握Python语言基本使用,知道常见算法API的调用掌握Python语言基本使用,可以根据场景选择合适的算法,有能力优化现有算法或开发新算法。
软件工程能在高级工程师的帮助下完成完成开发流程的特征工程,模型训练任务参与或主导项目开发的全流程:实际问题抽象为机器学习问题——>获取数据——>特征工程——>训练模型——>检验模型、误差分析、调整参数——>模型融合
大数据知道简单场景下基本组件的使用方法了解各种场景需要用到的大数据组件及其基本使用方法及原理和调优
机器学习模型能完成常见的基础的特征工程,能根据场景选择合适的模型能完成常见的基础的特征工程,能根据场景选择合适的模型。能跟上机器学习前沿,实现论文中的算法。
机器学习部署掌握基本的机器学习部署能力掌握复杂环境,多语言,分布式机器学习模型的部署
数据整理有基础的数据清洗能力、转换能力有基础的数据清洗能力、转换能力,针对特殊数据也能
数据工程能用基本工具完成基本的抽取、转换、装载工作能基于场景选择最佳工具,完成抽取、转换、装载工作。了解核心工具基本原理。
数据库掌握sql编写能力、调优能力掌握sql开发能力、调优能力
数学掌握基本的高中数学,掌握微积分、线性代数、概率论掌握基本的高中数学,掌握微积分、线性代数、概率论,能根据数学模型实现机器学习算法,能将现实问题转换为数学问题
数据可视化掌握基础的可视化技术掌握几种可视化技术
业务了解基本业务了解基本业务,同时了解不同业务线的关系和影响

PS:如有疏漏,请不吝赐教

以上是关于数据职业的区别的主要内容,如果未能解决你的问题,请参考以下文章

数据职业的区别

2021年全国职业院校技能大赛 “大数据技术与应用”—模拟赛题

PART 1 数据分析概述与职业操守——学习笔记&重点总结

职业生涯2

你疏漏的 JS 函数硬核知识?这里帮你总结了

第三周作业