大数据七大岗位及职责

Posted 2021-12-16 Mr.zhou_Zxy

大数据岗位及职责

数据运维工程师

1.	协调机器资源、采购、缩减、预算等等
2.	集群组件的维护、升级
3.	处理集群和用户的各种问题
4.	如果公司采购了阿里/网易这样的数据平台就会相对省心

数据平台开发工程师

1.	需要熟悉大数据开源组件、有必要的话可以进行二次开发
2.	基础平台开发
			开发面向数据平台使用的工具，比如元数据系统、数据质量、数据采集、数据计算平台、任务调度等，
		自研或者基于开源的项目进行二次开发
3.数据产品开发
		开发面向产品和数据分析师的工具：数据报表平台、数据分析平台、数据查询平台(AdHoc)等

数据仓库工程师

1.	离线数仓的开发，比如数仓建模、数据清洗
2.	实时数仓：实时指标的开发，使用Spark Streaming、Flink
3.	主要是写SQL，需要理解业务，开发业务报表

数据测试工程师

1.	一般公司没有这个岗位，由数据仓库工程师兼任，也就是自测
2.	测试数仓开发的指标逻辑、数据的准确性
3.	测试业务埋点上报的准确性

数据分析师

不同的公司有不同叫法：比如阿里的BI，美团的商分
1.	指标体系的拆解&建设
2.	从巨大的数据金矿中挖掘出有价值的知识，形成分析报告；推动优化业务。

算法工程师

1.	语音、图像、自然语言处理、深度学习等机器学习算法开发及优化
2.	挖掘并推进算法在业务中应用
	比如字节调动旗下的抖音的算法
3.	推荐系统、用户画像

数据产品经理

1.	协助公司各业务方向大数据应用产品调研、规划、执行
2.	数据产品的开发规划管理工作，确保项目按照需求如期完成