学习大数据分析要用到哪些知识？

Posted 2023-04-16

每一个大数据的爱好者应该心目中都有一个数据分析师的梦吧，我们都知道数据分析师是一个非常神秘的职位，看着一堆数据就能洞悉全局，很神奇吧，今天来给大家送福利了，想提高你的数据分析能力吗，看下文吧。

1.Excel是否精钻？
除了常用的Excel函数（sum、average、if、countifs、sumifs、offset、match、index等）之外，Excel图表（饼图、线图、柱形图、雷达图等）和简单分析技能也是经常用的，可以帮助你快速分析业务走势和异常情况；另外，Excel里面的函数结合透视表以及VBA功能是完善报表开发的利器，让你一键轻松搞定报表。
2.你需要更懂数据库
常用的数据库如mysql，Sql Server、Oracle、DB2、MongoDB等；除去SQL语句的熟练使用，对于数据库的存储读取过程也要熟练掌握。在对于大数据量处理时，如何想办法加快程序的运行速度、减少网络流量、提高数据库的安全性是非常有必要的。
3.掌握数据整理、可视化和报表制作
数据整理，是将原始数据转换成方便实用的格式，实用工具有Excel、R、Python等工具。数据可视化，是创建和研究数据的视觉表现，方便业务方快速分析数据并定位具体问题，实用工具有Tableau、FineBI、Qlikview.
如果常用excel，那需要用PPT展示，这项技能也需要琢磨透。如果用tableau、FineBI之类的工具做数据可视化，FineBI有推送查看功能，也就是在企业上下建立一套系统，通过权限的分配让不同的人看到权限范围内的报表。
4.多学几项技能
大多数据分析师都是从计算机、数学、统计这些专业而来的，也就意味着数学知识是重要基础。尤其是统计学，更是数据分析师的基本功，从数据采集、抽样到具体分析时的验证探索和预测都要用到统计学。
现在社会心理学也逐渐囊括到数据分析师的能力体系中来了，尤其是从事互联网产品运营的同学，需要了解用户的行为动向，分析背后的动机。把握了整体方向后，数据分析的过程也就更容易。 参考技术A 1、需要有应用数学、统计学、数量经济学专业本科或者工学硕士层次水平的数学知识背景。
2、至少熟练SPSS、STATISTIC、Eviews、SAS等数据分析软件中的一门。
3、至少能够用Acess等进行数据库开发；
4、至少掌握一门数学软件：matalab，mathmatics进行新模型的构建。
5、至少掌握一门编程语言；
6，当然还要其他应用领域方面的知识，比如市场营销、经济统计学等，因为这是数据分析的主要应用领域。 参考技术B 首先我们要了解下大数据分析和传统的数据分析在概念上的区别，大数据分析相较于传统的数据分析，需要掌握更多的技能，对于从业者能力要求提高了。但是大数据分析的学习门槛并没有太高，学习难度适中，很多人都能够学会大数据分析。 参考技术C 第一部分 大数据平台：
大数据平台包含了采集层、存储层、计算层和应用层，是一个复杂的IT系统，需要学会Hadoop等分布式系统的开发技能。
1.1采集层：Sqoop可用来采集导入传统关系型数据库的数据、Flume对于日志型数据采集，另外使用Python一类的语言开发网络爬虫获取网络数据；
1.2储存层：分布式文件系统HDFS最为常用；
1.3计算层：有不同的计算框架可以选择，常见的如MapReduce、Spark等，一般来讲，如果能使用计算框架的“原生语言”，运算效率会最高（MapReduce的原生支持Java，而Spark原生支持Scala）；
1.4应用层：包括结果数据的可视化、交互界面开发以及应用管理工具的开发等，更多的用到Java、Python等通用IT开发前端、后端的能力；
第二部分 大数据分析：
大数据挖掘指的是利用算法和模型提高数据处理效率、挖掘数据价值、实现从数据到知识的转换
2.1数据分析方法论：统计基础 微积分（求导）代数（矩阵运算）等
2.2统计模型：方差分析、线性回归、逻辑回归、列联分析、聚类分析、面板模型等
2.3数据挖掘模型：决策树 关联分析、SVM、神经网络 贝叶斯网络等 参考技术D

【大数据分析与行业属性区别】

　　电商业：推荐系统 ——> 用户画像

　　金融业：风控系统 ——> 反欺诈

　　其 他：CTR ——> CVR

【大数据分析职业方向】

　　1、 商业分析师;

　　2、 数据产品经理;

　　3、 数据分析师;

　　4、 机器学习算法工程师;

　　5、 数据科学家

　　6、 ……

大数据到底能做什么？需要学习哪些知识？

相信很多大数据的初学者或者想转行大数据开发的朋友最关注的问题就是大数据开发到底可以做什么。

什么是大数据？

?"大数据"这个词频繁的出现在媒体是2007年之后的事了。尽管已经过去了10多年的时间，但是大家对它的理解并不统一，甚至有时候会对它有误解，比如很多人将”大数据“跟“大规模数据”混为一谈。

要想知道大数据能做什么，我们得首先搞清楚到底什么是大数据，它有哪些特征。

?大数据最明显的特征就是体量大，但是数据仅仅是体量大，并不能算是大数据。比如一个人的基因全图谱的数据是上百GB到1TB之间，从数据量上来说已经够大了。但是它没有太大的统计意义。所以体量大，仅仅是大数据一个特点，并不是数据量大都能称得上大数据。

大数据除了数据量大之外，一些大数据专家将大数据的特征概括成了三个V，即Vast(大数据量)、Variety(多样性)、Velocity(及时性)

仅仅数据量大是没有任何意义的，我们需要对数据进行管理‘分析才能实现较高的商业价值。

?

大数据究竟可以用在哪些方面呢？?

大数据的应用实在太过广泛，可以说大数据已经对各行各业都有着革命性的改革，物流、×××、营销、客户管理、医疗、零售、环保等等都有其身影。

零售行业，可以根据需求和库存的情况，适时调整价格 。

医疗行业，可以根据众多病人的特征，分析原因，量级太小的时候，这些特征根本不明显，不会得到重视，只有在大量数据中，才能发现平时注意不到的现象。

公共安全方面，可以根据以往犯罪数据预测发生犯罪事件的地区与概率。

娱乐方面，比如《纸牌屋》的制作公司根据以往的用户习惯，打造出大受欢迎的电视剧

?

学习大数据需要掌握哪些知识呢？

1. Java SE也就是所谓的Java基础、sql(建议从mysql入手)、?Linux

2.?大数据离线分析：如Hadoop Hive HBase、sqoop、flume等

3. 大数据实时分析：scalc语言、Spark等

4. 大数据机器学习（扩展）?
   spark MLlib:机器学习库?
   pyspark编程：Python和spark的结合?
   推荐系统?
   python数据分析?
   Python机器学习

大家有什么想了解更多可以加wx:fiercelf

---

作者：友信科创-名师刘峰
来源：CSDN
原文：https://blog.csdn.net/weixin_36043432/article/details/91367065
版权声明：本文为博主原创文章，转载请附上博文链接！