大数据分析工程师日常工作都有哪些?

Posted 2023-05-10

数据分析师是一个近几年来新兴的一个岗位，有人说，数据分析师是大部分时间围绕着的工作是满足业务的数据需求。业务人员既有普通运营，也有部门领导，基本有求必应。那么数据分析工程师每天都在做什么呢?日常工作有哪些?我们接着往下看。

满足业务人员的需求也分淡旺季，旺季就是做月度汇报、年度汇报的时候，或者做促销活动、推广活动的时候。特别是业务人员要做汇报的时候，会疯狂call数据分析的，单身N年的手速这个时候用得上了。
当然，淡季也不会闲着，还得做专题分析呀。得研究研究各领导拍脑门想到的数据需求：比如产品种类会不会太多，要不要精简一下，这个时候得去找数据支撑，比如80%的业绩产生于哪些产品，而长尾品又能产生多少业绩，再了解下竞争对手又是怎样的策略。再比如到了月末的时候，就得预测下一周期的业绩能完成多少，从哪块新业务增收多少，预计引流多少新用户获得多少收益，怎么拉升客单价从而增收多少收益，这时候顺便就把业务的kpi目标定下了。又比如突然有什么异常情况，日活的用户数持续下降了，那就得到业务各个环节里找原因。还比如某个业务环节存在问题没有攻破，如订单满足率还是不理想，就得四处扒拉数据去分析造成多少损失，主要是哪部分造成损失最多，还得想该如何用数据监控，责任方在哪，如何完善等······
综上就是小编整理的数据分析工程师日常工作，希望可以帮您更好的理解这个岗位。 参考技术A

大数据工程师工作内容取决于你工作在数据流的哪一个环节。

从数据上游到数据下游，大致可以分为：

数据采集 -> 数据清洗 -> 数据存储 -> 数据分析统计 -> 数据可视化 等几个方面

工作内容当然就是使用工具组件(Spark、Flume、Kafka等)或者代码(Java、Scala等)来实现上面几个方面的功能。

具体说说吧，

数据采集：

业务系统的埋点代码时刻会产生一些分散的原始日志，可以用Flume监控接收这些分散的日志，实现分散日志的聚合，即采集。

数据清洗：

原始的日志，数据是千奇百怪的

一些字段可能会有异常取值，即脏数据。为了保证数据下游的"数据分析统计"能拿到比较高质量的数据，需要对这些记录进行过滤或者字段数据回填。

一些日志的字段信息可能是多余的，下游不需要使用到这些字段做分析，同时也为了节省存储开销，需要删除这些多余的字段信息。

一些日志的字段信息可能包含用户敏感信息，需要做脱敏处理。如用户姓名只保留姓，名字用'*'字符替换。

数据存储：

清洗后的数据可以落地入到数据仓库(Hive)，供下游做离线分析。如果下游的"数据分析统计"对实时性要求比较高，则可以把日志记录入到kafka。

数据分析统计：

数据分析是数据流的下游，消费来自上游的数据。其实就是从日志记录里头统计出各种各样的报表数据，简单的报表统计可以用sql在kylin或者hive统计，复杂的报表就需要在代码层面用Spark、Storm做统计分析。一些公司好像会有个叫BI的岗位是专门做这一块的。

数据可视化：

用数据表格、数据图等直观的形式展示上游"数据分析统计"的数据。一般公司的某些决策会参考这些图表里头的数据~

当然，大数据平台(如CDH、FusionInsight等)搭建与维护，也可能是大数据工程师工作内容的一部分喔~

希望对您有所帮助！~

大数据分析工具都有哪些,好用的有吗

大数据分析的前瞻性使得很多公司以及企业都开始使用大数据分析对公司的决策做出帮助，而大数据分析是去分析海量的数据，所以就不得不借助一些工具去分析大数据，。一般来说，数据分析工作中都是有很多层次的，这些层次分别是数据存储层、数据报表层、数据分析层、数据展现层。对于不同的层次是有不同的工具进行工作的。下面小编就对大数据分析工具给大家好好介绍一下。
首先我们从数据存储来讲数据分析的工具。我们在分析数据的时候首先需要存储数据，数据的存储是一个非常重要的事情，如果懂得数据库技术，并且能够操作好数据库技术，这就能够提高数据分析的效率。而数据存储的工具主要是以下的工具。
1、MySQL数据库，这个对于部门级或者互联网的数据库应用是必要的，这个时候关键掌握数据库的库结构和SQL语言的数据查询能力。
2、SQL Server的最新版本，对中小企业，一些大型企业也可以采用SQL Server数据库，其实这个时候本身除了数据存储，也包括了数据报表和数据分析了，甚至数据挖掘工具都在其中了。
3、DB2，Oracle数据库都是大型数据库了，主要是企业级，特别是大型企业或者对数据海量存储需求的就是必须的了，一般大型数据库公司都提供非常好的数据整合应用平台;
接着说数据报表层。一般来说，当企业存储了数据后，首先要解决报表的问题。解决报表的问题才能够正确的分析好数据库。关于数据报表所用到的数据分析工具就是以下的工具。
1、Crystal Report水晶报表，Bill报表，这都是全球最流行的报表工具，非常规范的报表设计思想，早期商业智能其实大部分人的理解就是报表系统，不借助IT技术人员就可以获取企业各种信息——报表。
2、Tableau软件，这个软件是近年来非常棒的一个软件，当然它已经不是单纯的数据报表软件了，而是更为可视化的数据分析软件，因为很多人经常用它来从数据库中进行报表和可视化分析。
第三说的是数据分析层。这个层其实有很多分析工具，当然我们最常用的就是Excel，我经常用的就是统计分析和数据挖掘工具;
1、Excel软件，首先版本越高越好用这是肯定的;当然对Excel来讲很多人只是掌握了5%Excel功能，Excel功能非常强大，甚至可以完成所有的统计分析工作!但是我也常说，有能力把Excel玩成统计工具不如专门学会统计软件;
2、SPSS软件：当前版本是18，名字也改成了PASW Statistics;我从3.0开始Dos环境下编程分析，到现在版本的变迁也可以看出SPSS社会科学统计软件包的变化，从重视医学、化学等开始越来越重视商业分析，现在已经成为了预测分析软件。
最后说表现层的软件。一般来说表现层的软件都是很实用的工具。表现层的软件就是下面提到的内容。
1、PowerPoint软件：大部分人都是用PPT写报告。
2、Visio、SmartDraw软件：这些都是非常好用的流程图、营销图表、地图等，而且从这里可以得到很多零件;
3、Swiff Chart软件：制作图表的软件，生成的是Flash。 参考技术A 大数据分析工具，对企业来说，大数据分析要先做好数据挖掘收集，一般可以通过互联网平台逐步获取数据。鸭梨科技建设企业平台，有企业PC网站、APP、手机网站、微站等，形成企业的互联网生态圈，利用这些平台可以让企业获取更多数据，结合大数据分析功能，让企业及时把握市场变化，借助互联网技术实现新的发展。 参考技术B Tableau，国外的，收费，可试用。老产品，功能较完善，有点臃肿。
Qlikview,国外的，收费，有免费版，基础的功能都有，操作不够人性化。
大数据魔镜，国内的，有永久免费的版本，还有其他的四个版本，有大数据分析的版本，比较简单，可视化的效果众多，免费版对Excel的格式要求比较的严格。
另外还有，永洪BI，FinBI，smartBI，Power-BI，哦对了还有微软的PowerBI。 参考技术C 1.国外厂商tableau，这是一种几乎是数据分析师人人会提的工具，内置常用的分析图表，和一些数据分析模型，可以快速的探索式数据分析，制作数据分析报告。 因为是商业智能，解决的问题更偏向商业分析，用 Tableau可以快速地做出动态交互图，并且图表和配色也非常拿得出手。
2.国内厂商帆软，性价比很高，自助式BI工具，也是一款成熟的数据分析产品。内置丰富图表，不需要代码调用，可直接拖拽生成，包括一些数据挖掘模型也是。可用于业务数据的快速分析，制作dashboard，也可构建可视化大屏。他是tableau的平价替代，有别于Tableau的是，企业级数据分析的功能更多。从内置的ETL功能以及数据处理方式上看出，侧重业务数据的快速分析以及可视化展现。可与大数据平台，各类多维数据库结合，所以在企业级BI应用上广泛，个人使用免费。 参考技术D 大数据魔镜的不错