大数据运维的主要工作内容是啥？

Posted 2023-05-10

大数据相关工作岗位很多，有大数据分析师、大数据挖掘算法工程师、大数据研发工程师、数据产品经理、大数据可视化工程师、大数据爬虫工程师、大数据运营专员、大数据架构师、大数据专家、大数据总监、大数据研究员、大数据科学家等等

数据分析师：
工作内容：
a.临时取数分析，比如双11大促活动分析；产品的流量转化情况、产品流程优化分析，等等；
b.报表需求分析--比如企业常见的日报、周报、月报、季报、年报、产品报表、流量转化报表、经营分析报表、KPI报表等等；
c.业务专题分析：
精准营销分析（用户画像分析、营销对象分析、营销策略分析、营销效果分析）；
风控分析（策略分析，反欺诈分析，信用状况分析）；
市场研究分析（行业分析、竞品分析、市场分析、价格分析、渠道分析、决策分析等等）；
工具和技能：
工具： R、Python、SAS、SPSS、Spark、X-Mind、Excel、PPT
技能：需掌握SQL数据库、概率统计、常用的算法模型（分类、聚类、关联、预测等，每一类模型的一两种最典型的算法）、分析报告的撰写、商业的敏感性等等；

数据挖掘工程师：
工作内容：
a.用户基础研究：用户生命周期刻画（进入、成长、成熟、衰退、流失）、用户细分模型、用户价值模型、用户活跃度模型、用户意愿度识别模型、用户偏好识别模型、用户流失预警模型、用户激活模型等
b.个性化推荐算法：基于协同过滤（USERBASE/ITEMBASE）的推荐，基于内容推荐，基于关联规则Apriot算法推荐，基于热门地区、季节、商品、人群的推荐等
c.风控模型：恶意注册模型、异地识别模型、欺诈识别模型、高危会员模型、
电商领域（炒信模型、刷单模型、职业差评师模型、虚假发货模型、反欺诈模型）
金融领域（欺诈评分模型、征信评分模型、催收模型、虚假账单识别模型等）
d.产品知识库：产品聚类分类模型、产品质量评分模型、违禁品识别模型、假货识别模型等
e.文本挖掘、语义识别、图像识别，等等
工具和技能：
工具： R、Python、SAS、SPSS、Spark、Mlib等等
技能：需掌握SQL数据库、概率统计、机器学习算法原理（分类、聚类、关联、预测、神经网络等）、模型评估、模型部署、模型监控；

数据产品经理：
工作内容：
a.大数据平台建设，让获取数据、用数据变得轻而易举；构建完善的指标体系，实现对业务的全流程监控、提高决策效率、降低运营成本、提升营收水平；
b.数据需求分析，形成数据产品，对内提升效率、控制成本，对外增加创收，最终实现数据价值变现；
c.典型的大数据产品：大数据分析平台、个性化推荐系统、精准营销系统、广告系统、征信评分系统（如芝麻评分）、会员数据服务系统（如数据纵横），等等；
工具和技能：
工具： 除了掌握数据分析工具，还需要掌握 像 原型设计工具Auxe、画结构流程的X-Mind、visio、Excel、PPT等
技能：需掌握SQL数据库、产品设计，同时，熟悉常用的数据产品框架

数据研发工程师：
工作内容：
a.大数据采集、日志爬虫、数据上报等数据获取工作
b.大数据清洗、转换、计算、存储、展现等工作
c.大数据应用开发、可视化开发、报表开发等
工具和技能：
工具：hadoop、hbase、hive、kafaka、sqoop、java、python等
技能：需掌握数据库、日志采集方法、分布式计算、实时计算等技术 参考技术A 大数据运维，这里指互联网运维，通常属于技术部门，与研发、测试、系统管理同为互联网产品技术支撑的4大部门，这个划分在国内和国外以及大小公司间都会多少有一些不同。

一个互联网产品的生成一般经历的过程是：产品经理（product manager，非技术部）需求分析、研发部门开发、测试部门测试、运维部门部署发布以及长期的运行维护。

一般来讲国内的互联网运维负责软件测试交付后的发布和管理，其核心目标是将交付的业务软件和硬件基础设施高效合理的整合，转换为可持续提供高质量服务的产品，同时最大限度降低服务运行的成本，保障服务运行的安全。本回答被提问者和网友采纳 参考技术B 回答

负责大数据底层基础架构平台的运维、规划、部署、管理、扩容和优化等；保障系统7*24小时的稳定性和可用性，构建系统监控，容灾，自动化等运营体系； 负责组件Hadoop, Hive, Presto、Spark、Airflow 等大数据组件运维调优；参与大数据相关的开发工作。 任职要求： 本科及以上学历，至少2年以上大数据运维经验；精通Shell及Hadoop/Spark/Hive/Flink/调度系统等生态集群的建设及性能优化；熟悉Java语言，并有数据开发经验者优先(如数据仓库、数据分析、用户画像、算法等)；思路敏捷清晰，较强的外部沟通能力；有责任心及抗压能力，有强烈的自驱力，并有良好的团队协作精神。

信息系统运维的发展现状趋势及运维的主要内容和目标

信息系统运维，特指新建或升级改造类信息系统项目实施完成后的系统在完成其试运行周期后，正式进入生产环境交付合适阶段的维护和保养工作。

一、信息系统运维的发展现状：

1.从建设向运维的转型时期；

2.缺少全面性的运维管理体系；

3.运维工作的定位欠准确；

4.运维缺乏标准化、规范化指导；

5.运维管理规范和预算制度的缺失。

二、信息系统运维的发展趋势：

1.大型工程趋向于集中式运维;

2.技术与管理并重的运维理念转变：从“重建设，轻维护，重技术，轻管理”走向“建设与维护并重，技术与管理并重”;

3.运维管理体系趋向于成熟化;

4.将规范设计实施与运维相融合;

5.独立的运维预算体系逐渐形成;

6.运维服务外包化；

7.国际标准与国情实际相结合。

三、信息系统运维的主要内容：

1.基础设施运维：

1)基础运维：包括机房供配电系统、机房UPS系统、机房空调系统、机房弱电系统、消防系统等；

2)硬件设施：如服务器设备、安全设备、存储设备、终端设备等；

3)网络环境：局域网、互联网、网络线路，以及路由器、交换机、负载均衡设备等；

4)基础软件：包括操作系统、数据库系统、中间件等。

2.应用系统运维：指业务应用系统投入应用后，为改正软件中隐含的错误，或为提高应用系统软件的适应性、可靠性和完善应用系统功能。

3.信息资源运维：建立数据运行与维护的各项管理制度，规范运行与维护业务流程，有效开展运行监控与维护、故障诊断排除、数据备份与恢复、归档与检索等，保障数据库正常运行，使信息系统可持续稳定运定。

4.系统安全运维：能事先估计出可能出现的威胁并制定出预防措施，以防止蓄意或意外破坏网络、硬件及文件，防止蓄意滥用软硬件，防止信息盗窃，保护数据正确赛鱼中，提供灾难恢复等内容。包括实体安全、运行安全、信息安全和人员安全。

四、信息系统运维管理及其目标：

1.倡导治理层重视并理解信息化服务管理的重要性，由单纯折技术或管理向各利益自关方的综合治理转变；

2.树立面向业务服务的信息化运维管理理念，建立科学合理的绩效评价体系，由精放管理向精细管理转变；

3.推行集中、统一的信息化运维管理模式，由分散管理向集中管理转变；

4.建设统一、高效、灵敏的信息化运维管理体系，由无序服务向有序服务转变；

5.建立规范标准的信息化运维管理流程，由职能管理向流程管理转变；

6.应用先进、实用、高效的信息化运维管理工具，由被动管理向主动管理转变。

本文出自 “sky9890” 博客，请务必保留此出处http://sky9896.blog.51cto.com/2330653/1942962