数据分析需要掌握哪些知识?

Posted 2023-05-10

成为一名数据分析师所需要掌握的知识：

数学知识

对于初级数据分析师来说，则需要了解统计相关的基础性内容，公式计算，统计模型等。当你获得一份数据集时，需要先进行了解数据集的质量，进行描述统计。

而对于高级数据分析师，必须具备统计模型的能力，线性代数也要有一定的了解。

分析工具

对于分析工具，SQL 是必须会的，还有要熟悉Excel数据透视表和公式的使用，另外，还要学会一个统计分析工具，SAS作为入门是比较好的，VBA 基本必备，SPSS/SAS/R 至少要熟练使用其中之一，其他分析工具（如 Matlab）可以视情况而定。

编程语言

数据分析领域最热门的两大语言是 R 和 Python。涉及各类统计函数和工具的调用，R无疑有优势。但是大数据量的处理力不足，学习曲线比较陡峭。Python 适用性强，可以将分析的过程脚本化。所以，如果你想在这一领域有所发展，学习 Python 也是相当有必要的。

当然其他编程语言也是需要掌握的。要有独立把数据化为己用的能力, 这其中SQL 是最基本的，你必须会用 SQL 查询数据、会快速写程序分析数据。当然，编程技术不需要达到软件工程师的水平。要想更深入的分析问题你可能还会用到：Exploratory analysis skills、Optimization、Simulation、Machine Learning、Data Mining、Modeling 等。

业务理解

对业务的理解是数据分析师工作的基础，数据的获取方案、指标的选取、还有最终结论的洞察，都依赖于数据分析师对业务本身的理解。

对于初级数据分析师，主要工作是提取数据和做一些简单图表，以及少量的洞察结论，拥有对业务的基本了解就可以。对于高级数据分析师，需要对业务有较为深入的了解，能够基于数据，提炼出有效观点，对实际业务能有所帮助。对于数据挖掘工程师，对业务有基本了解就可以，重点还是需要放在发挥自己的技术能力上。

逻辑思维

对于初级数据分析师，逻辑思维主要体现在数据分析过程中每一步都有目的性，知道自己需要用什么样的手段，达到什么样的目标。对于高级数据分析师，逻辑思维主要体现在搭建完整有效的分析框架，了解分析对象之间的关联关系，清楚每一个指标变化的前因后果，会给业务带来的影响。对于数据挖掘工程师，罗辑思维除了体现在和业务相关的分析工作上，还包括算法逻辑，程序逻辑等，所以对逻辑思维的要求也是最高的。

数据可视化

数据可视化主要借助于图形化手段，清晰有效地传达与沟通信息。听起来很高大上，其实包括的范围很广，做个 PPT 里边放上数据图表也可以算是数据可视化。

对于初级数据分析师，能用 Excel 和 PPT 做出基本的图表和报告，能清楚地展示数据，就达到目标了。对于稍高级的数据分析师，需要使用更有效的数据分析工具，根据实际需求做出或简单或复杂，但适合受众观看的数据可视化内容。

协调沟通

数据分析师不仅需要具备破译数据的能力，也经常被要求向项目经理和部门主管提供有关某些数据点的建议，所以，你需要有较强的交流能力。

对于高级数据分析师，需要开始独立带项目，或者和产品做一些合作，因此除了沟通能力以外，还需要一些项目协调能力。

参考技术A

Excel提到Excel大家都不陌生，很多小白非常喜欢用Excel来进行数据分析。即使是专业的分析人员，他们也会使用Excel处理聚合数据。因为Excel具备非常多的优点，例如：（1）使用方便（2）简单易学（3）能够查看每个步骤的结果（4）无需编程基础

2. SQL语言SQL（结构化查询语言）是一种用于处理和检索关系数据库中存储的数据的计算机语言，是关系数据库管理系统的标准语言。它具备很多优点，例如：（1）速度快。输入你要进行的操作，仅需几秒，操作就能完成。（2）不需要你具备很强的编程能力。（3）语言简单易学。

3. 可视化工具将数据可视化可以让人更加理解数据。人类都是视觉动物，图形往往比密密麻麻的文字更易于理解。在这里，我顺便给大家推荐几款好用的可视化工具：（1）Cognos：Cognos拥有强大的数据库平台。但是Cognos并不适合小白，因为它需要用户有很好的数据分析基础。（2）Tableau：Tableau的可视化功能非常能打，操作也简单。用户只需在简单配置，拖拖拽拽就可以完成数据分析。（3）FineBI：Cognos和Tableau的确非常好用，但是它们是两款国外软件，相关的学习资料比较少。而FineBI是一款国内软件，我们可以在各大平台找到海量的学习教程。同时，运用FineBI进行部署非常方便。

4. PythonTableau、FineBI这一类的可视化工具，的确可以自动生成报告。但是，如果想要进行更深入的探索，你需要学习Python来进行数据挖掘。Python是一种面向对象的高级编程语言，主要用于Web以及应用程序的开发。Python拥有图形和可视化工具、以及扩展的分析工具包，能够更好地帮助我们进行数据分析。以下是Python的一些优点：（1）语法清晰，简单易学。（2）开源且免费。（3）库量非常大。

5. SASSAS（统计分析软件）是一套模块化的大型集成应用软件系统。它由数十个专用模块构成，功能包括数据访问、数据储存及管理、应用开发、图形处理、数据分析、报告编制、运筹学方法、计量经济学与预测等等。因此，SAS能够对数据进行深层次的挖掘和分析。

6. AlteryxAlteryx是一种自助服务分析工具。用户可以快速混合和准备数据，即便没有任何编程能力的人，也可以在Alteryx中构建数据工作流。同时，Alteryx的运行速度也非常快。使用拖放式工作流程和数据清理技术，仅需几分钟，你就能得到输出结果。以下是Alteryx的其他优点：（1）能够融合数据。（2）易于采购。（3）可以建立工作流程。

7. “软”实力光懂技术还不行，数据分析师还必须具备以下几种“软”技能：（1）很强的沟通能力。如果数据分析师不能将自己的分析结果表达清楚，那么他的分析结果将一文不值。（2）熟悉业务内容。我们学习数据分析的最终目的，就是就业。因此，每个数据分析师都必须做到熟悉业务。（3）快准狠地分析出最佳解决方案。了解了业务之后，数据分析师要找出最有效的数据分析方法，来对数据进行分析。

参考技术B 首先，大数据专业是一个非常典型的交叉学科，在课程体系的设置上通常采用3加N的设置方式，3代表的是3大主干知识体系，涉及到数学、统计学和计算机，而这里面的N则涉及到金融学、经济学、社会学、医学等辅助学科，不同学校会根据自身的教育资源整合情况来进行具体的设置，比如财经类大学通常会更注重金融学和经济学课程的设置。

从大数据专业的课程设置上来看，大数据专业的知识量是比较大的，学生的学习压力也相对大一些，如果没有一个较好的学习规划，也很容易导致学得杂而不精这种情况。从目前大数据领域的岗位划分情况来看，大数据专业的同学可以选择大数据开发方向，也可以选择大数据分析方向。

主攻大数据开发方向的同学要重视三方面内容，其一是程序设计能力的培养，可以重点关注一下Java语言，其二是重视大数据平台的学习，要熟悉常见大数据平台的开发方式，能够基于大数据平台来完成一些具体的开发任务，其三是要重视行业场景知识的学习。

主攻大数据分析方向的同学也要重视三方面内容，其一是重视编程语言知识的学习，可以重点关注一下Python语言，其二是重视机器学习知识的学习，其三是重视大数据平台的学习，要能够借助于大数据平台来完成具体的数据分析任务。与大数据开发岗位不同，大数据分析岗位对于统计学知识的要求也更高一些。

最后，大数据专业的学习除了要重视理论知识的学习以外，还需要重视实践，可以通过参加专业比赛或者参加老师的课题组来积累实践经验。 参考技术C

学习路线

技术：

Excel

SQL

Python/Spss

可视化

理论：

数据分析思维和方法

统计学

对业务的理解

四、推荐书籍/网站

1、Excel学习：

没有什么推荐的书籍和网站，网上有很多大神的教程，如果时间充裕，就系统的学习一下，如果时间紧张，就用临阵用度娘也是可以解决问题的，当然，学什么都最好能够系统地学习。要记住一点，我们是用Excel进行数据分析的，所以应当从数据获取、数据处理、数据分析和输出几个方面来学习Excel。

2、SQL学习

建议在B站找视频观看,有很多,我们就有同名号定期上传学习视频哦。如果想要练习的话，可以从SQLZoo去练习，在线版的SQL练习教程。书的话《SQL必知必会》还不错，很精简，基本可以满足日常表的查询和维护了，想要不仅满足于查询的话，还可以参考《深入浅出mysql》，数据库开发、优化与管理，600多页。

3、Python学习

对于非程序员出身的新手小白来说入门很简单，精通还是不容易的。如果你仅仅是停留在用Python进行数据处理和分析的阶段上，建议《利用Python进行数据分析》这本书非常不错，不要去学python开发、python编程之类的书，Python可以用来做很多事情，但对于数据分析师而言，我们可能不需要用Python来开发什么游戏、网站等，我们只需要进行数据控制、处理、整理和分析即可，系统地学一下python中的数据科学库是非常有必要的，如：Numpy、pandas等。

4、可视化

有很多可视化的工具，用Excel可以实现可视化，powerBI、Tableau、Python也可以可视化。工具的选择是一方面，另一方面是对于图表的理解，什么场合适用什么样的图表。


用Excel做排列图 


5、数据分析的思维和方法

参考书籍《深入浅出数据分析》，把道理方法讲的很透彻的一本书，对于深入理解底层逻辑很友好。《谁说菜鸟不会数据分析》系列，主要是对于方法和工具使用的学习。可参考之前的文章 数据分析方法论 来大概了解。

6、统计学

《深入浅出统计学》非常棒的一本书，对于统计学的基本概念的解释非常直白到位，让小白能够清楚地理解这个公式为什么是这样子的，而不是直接摆公式。底层逻辑明白后，可以参考李航的《统计学习方法》，这是大学课本，有时间的话还是应该好好研究一下系统逻辑的。

7、对业务的理解

推荐《数据挖掘与数据化运营实战》，这本书对业务与数据分析怎么结合有很详细的说明和实例。

参考技术D 1）具有业务敏感度，反应迅速，能够良好沟通；2）具有数据分析和数据仓库建模的项目实践经验；3）3年及以上数据分析经验，有互联网产品、运营分析经验；4）熟悉R、SAS、SPSS等统计分析软件，熟练运用Python，熟练使用
SQL、Hive等；5）本科或以上学历，数学、统计、计算机、运筹学等相关专业；那么对于正在入门阶段的同学们应该如何正确把握自己的学习方向呢？

DevOps 需要学习什么基础知识，需要掌握哪些技能？

来自社区问答，供参考

DevOps都需要学习什么基础知识，都需要掌握哪些技能？

请问各位前辈，devops都需要学习什么基础知识，都需要掌握哪些技能，需要对开发了解到什么程度？ （@dw289042702 系统运维工程师 tskj）

@eximbank  系统架构师：

1、首先必需具备coding能力，诸如Pythong, Go或C/C++等；

2、必需能动操作系统/Linux+Windows的基本，进程管理，网络管理，存储管理，虚拟化+Docker等；

3、知道一些管理服务器的开源组件和系统命令等，包括DNS，OSI网络和安全，监控，日志，性能方面等；

4、懂企业架构，诸如WebServer,数据库等

5、最关键得理解Infrastructure，自动化工具引擎、管理虚拟化的工具平台、Docker管理平台及其相关架构、Orchestrate 工具和常用一些云的使用技巧，当然包括Infrastructure的运营和运维操作能力，什么监控（也要懂应用监控等）工具等等。

有这些5个方面的实力，估计就差不多了～～～其他就是不停的 practice

@bryan  软件架构设计师 ：

首先看一下这个词 ，devops=development（开发）+ operation（运维）。从中是否可以看到需要学习哪方面的知识了呢？

随着技术的发展和专业化的不断发展，很多传统部门于是有了研发部门和运维部门。职责不同，理念就会不同。

1）对于研发部门，考核指标一般是如何快速响应业务需求。希望用一些新的技术来解放生产力，可以更好的提升研发效率，因此会更容易引入一些新框架和新工具。任何技能的上手都需要一个逐渐学习的过程，有一定的学习成本。总而言之，“求变”；

2）对于运维部门，考核指标一般是如何保持业务系统的稳定性。任何系统一般是运行很久之后才会进行稳定期。对于2个系统，一个是很古老的技术，已经运行十年了；一个是很先进的技术，每两周就更新一次。那么哪个系统最容易出现运维问题呢？显然是后者，变化越多，概率越高。为了不出事情，怎么办呢？那就不变更了呗。不变就不会出问题。总而言之，“求稳”。

一个“求变”，一个"求稳"，于是就产生了矛盾，产生了互相指责。怎么解决这个事情呢？如果一个团队包含研发人员和运维人员，那么就会好多了。因为二者的职责也都融合到一起了。所以，我个人感觉devops是一种理念。那么这种理念怎么落地呢？个人认为，需要真正落地，首先从高管层意识到devops真正是什么，然后从企业组织架构层面进行调整。

回到lz的问题。devops需要什么技术呢？那么不难回答了。如果你是运维人员，那就多了解一些项目研发过程和研发技术，如果你是研发人员，那就多了解一些基础环境的运维，如操作系统、中间件等。

对开发需要了解到什么程度呢？从项目生命周期看，全程参与和跟踪过一个项目研发；从技术层面看，项目研发语言、代码管理git、自动化构建maven/gradle等，整个知识谱图是一个不断扩充的过程。我难以给出一个清晰的清单。可以推荐一些书供参考，《凤凰项目：一个IT运维的传奇故事》和《Effective DevOps》(中文本已出版)。

@he7yong  研发工程师  Canway：

DevOps，这个词在中国的IT圈中是被用滥了的词，有公司关注在CI/CD和持续交付，有公司关注在运维开发，也有公司提出来DevSecOps关注在安全。

因此，你看看根据自己公司的要求，很多公司关注在应用代码的快速上线，这种情况你可能更多的需要关注在持续交付流水线的构建，以及应用在多个环境中的自动化的部署。

以上内容仅供参考，欢迎点击阅读原文，分享您的观点

长按二维码关注公众号