什么是数据挖掘？数据挖掘与传统分析方法有什么区别

Posted 2023-05-11

数据挖掘(英语:Datamining)，又译为资料探勘、数据采矿。它是数据库知识发现(英语:Knowledge-Discoveryin Databases，简称:KDD)中的一个步骤。数据挖掘一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程。数据挖掘通常与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习、专家系统(依靠过去的经验法则)和模式识别等诸多方法来实现上述目标。

数据挖掘与传统的数据分析(如查询、报表、联机应用分析)的本质区别是数据挖掘是在没有明确假设的前提下去挖掘信息、发现知识.数据挖掘所得到的信息应具 有先未知,有效和可实用三个特征.

更多数据挖掘的信息，推荐咨询CDA数据分析师的课程。CDA数据分析师的课程内容兼顾培养解决数据挖掘流程问题的横向能力以及解决数据挖掘算法问题的纵向能力。要求学生具备从数据治理根源出发的思维，通过数字化工作方法来探查业务问题，通过近因分析、宏观根因分析等手段，再选择业务流程优化工具还是算法工具，而非“遇到问题调算法包”。 点击预约免费试听课。
参考技术A 数据挖掘又译为资料探勘、数据采矿。是一种透过数理模式来分析企业内储存的大量资料，以找出不同的客户或市场划分，分析出消费者喜好和行为的方法。它是数据库知识发现中的一个步骤。数据挖掘一般是指从大量的数据中自动搜索隐藏于其中的有着特殊关系性的信息的过程。主要有数据准备、规律寻找和规律表示3个步骤。数据挖掘的任务有关联分析、聚类分析、分类分析、异常分析、特异群组分析和演变分析等。数据挖掘通常与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习、专家系统（依靠过去的经验法则）和模式识别等诸多方法来实现上述目标。
是一个用数据发现问题、解决问题的学科。
通常通过对数据的探索、处理、分析或建模实现。
我们可以看到数据挖掘具有以下几个特点：
基于大量数据：并非说小数据量上就不可以进行挖掘，实际上大多数数据挖掘的算法都可以在小数据量上运行并得到结果。但是，一方面过小的数据量完全可以通过人工分析来总结规律，另一方面来说，小数据量常常无法反映出真实世界中的普遍特性。
非平凡性：所谓非平凡，指的是挖掘出来的知识应该是不简单的，绝不能是类似某著名体育评论员所说的“经过我的计算，我发现了一个有趣的现象，到本场比赛结束 为止，这届世界杯的进球数和失球数是一样的。非常的巧合！”那种知识。这点看起来勿庸赘言，但是很多不懂业务知识的数据挖掘新手却常常犯这种错误。
隐含性：数据挖掘是要发现深藏在数据内部的知识，而不是那些直接浮现在数据表面的信息。常用的BI工具，例如报表和OLAP，完全可以让用户找出这些信息。
新奇性：挖掘出来的知识应该是以前未知的，否则只不过是验证了业务专家的经验而已。只有全新的知识，才可以帮助企业获得进一步的洞察力。
价值性：挖掘的结果必须能给企业带来直接的或间接的效益。有人说数据挖掘只是“屠龙之技”，看起来神乎其神，却什么用处也没有。这只是一种误解，不可否认的 是在一些数据挖掘项目中，或者因为缺乏明确的业务目标，或者因为数据质量的不足，或者因为人们对改变业务流程的抵制，或者因为挖掘人员的经验不足，都会导 致效果不佳甚至完全没有效果。但大量的成功案例也在证明，数据挖掘的确可以变成提升效益的利器 参考技术B 1、计算机编程能力的要求

作为数据分析很多情况下需要用到成型的分析工具，比如EXCEL、SPSS，或者SAS、R。一个完全不懂编程，不会敲代码的人完全可以是一名能好的数据分析师，因为一般情况下OFFICE包含的几个工具已经可以满足大多数数据分析的要求了。很多的数据分析人员做的工作都是从原始数据到各种拆分汇总，再经过分析，最后形成完整的分析报告。当然原始数据可以是别人提供，也可以自己提取（作为一名合格的数据分析师，懂点SQL知识是很有好处的）。
而数据挖掘则需要有编程基础。为什么这样说呢？举两个理由：第一个，目前的数据挖掘方面及相关的研究生方面绝大多数是隶属于计算机系；第二点，在招聘岗位上，国内比较大的公司挂的岗位名称大多数为“数据挖掘工程师”。从这两点就可以明确看出数据挖掘跟计算机跟编程有很大的联系。

2、在对行业的理解的能力

要想成为一名优秀的数据分析师，对于所从事的行业有比较深的了解和理解是必须要具备的，并且能够将数据与自身的业务紧密结合起来。简单举个例子来说，给你一份业务经营报表，你就能在脑海中勾画出目前经营状况图，能够看出哪里出现了问题。但是，从事数据挖掘不一定要求对行业有这么高的要求。

3、专业知识面的要求

数据分析师出对行业要了解外，还要懂得一些统计学、营销、经济、心理学、社会学等方面的知识，当然能了解数据挖掘的一些知识会更好。数据挖掘工程师则要求要比较熟悉数据库技术、熟悉数据挖掘的各种算法，能够根据业务需求建立数据模型并将模型应用于实际，甚至需要对已有的模型和算法进行优化或者开发新的算法模型。想要成为优秀的数据挖掘工程师，良好的数学、统计学、数据库、编程能力是必不可少的。
总之一句话来概括的话，数据分析师更关注于业务层面，数据挖掘工程师更关注于技术层面。
数据分析师与数据挖掘工程师的相似点：

1、都跟数据打交道。

他们玩的都是数据，如果没有数据或者搜集不到数据，他们都要丢饭碗。

2、知识技能有很多交叉点。

他们都需要懂统计学，懂数据分析一些常用的方法，对数据的敏感度比较好。

3、在职业上他们没有很明显的界限。

很多时候数据分析师也在做挖掘方面的工作，而数据挖掘工程师也会做数据分析的工作，数据分析也有很多时候用到数据挖掘的工具和模型，很多数据分析从业者使用SAS、R就是一个很好的例子。而在做数据挖掘项目时同样需要有人懂业务懂数据，能够根据业务需要提出正确的数据挖掘需求和方案能够提出备选的算法模型，实际上这样的人一脚在数据分析上另一只脚已经在数据挖掘上了。
事实上没有必要将数据分析和数据挖掘分的特别清，但是我们需要看到两者的区别和联系，作为一名数据行业的从业者，要根据自身的特长和爱好规划自己的职业生涯，以寻求自身价值的最大化。本回答被提问者和网友采纳

数据库 与 数据仓库的本质区别是什么？

我看了下目前的答案，大家从理论层面把数据库和数据仓库的本质区别解释的很全面了。 数据库：传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。数据仓库：数据仓库系统的主要应用主要是OLAP（On-Line Analytical Processing），支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。我尝试着再补充些具体的事例来说明，这样更可以帮助大家更好理解一些。举个最常见的例子，拿电商行业来说好了。基本每家电商公司都会经历，从只需要业务数据库到要数据仓库的阶段。电商早期启动非常容易，入行门槛低。找个外包团队，做了一个可以下单的网页前端 + 几台服务器 + 一个MySQL，就能开门迎客了。这好比手工作坊时期。第二阶段，流量来了，客户和订单都多起来了，普通查询已经有压力了，这个时候就需要升级架构变成多台服务器和多个业务数据库（量大+分库分表），这个阶段的业务数字和指标还可以勉强从业务数据库里查询。初步进入工业化。第三个阶段，一般需要 3-5 年左右的时间，随着业务指数级的增长，数据量的会陡增，公司角色也开始多了起来，开始有了 CEO、CMO、CIO，大家需要面临的问题越来越复杂，越来越深入。高管们关心的问题，从最初非常粗放的：“昨天的收入是多少”、“上个月的 PV、UV 是多少”，逐渐演化到非常精细化和具体的用户的集群分析，特定用户在某种使用场景中，例如“20~30岁女性用户在过去五年的第一季度化妆品类商品的购买行为与公司进行的促销活动方案之间的关系”。这类非常具体，且能够对公司决策起到关键性作用的问题，基本很难从业务数据库从调取出来。原因在于：业务数据库中的数据结构是为了完成交易而设计的，不是为了而查询和分析的便利设计的。业务数据库大多是读写优化的，即又要读（查看商品信息），也要写（产生订单，完成支付）。因此对于大量数据的读（查询指标，一般是复杂的只读类型查询）是支持不足的。而怎么解决这个问题，此时我们就需要建立一个数据仓库了，公司也算开始进入信息化阶段了。数据仓库的作用在于：数据结构为了分析和查询的便利；只读优化的数据库，即不需要它写入速度多么快，只要做大量数据的复杂查询的速度足够快就行了。那么在这里前一种业务数据库（读写都优化）的是业务性数据库，后一种是分析性数据库，即数据仓库。最后总结一下：数据库 比较流行的有：MySQL, Oracle, SqlServer等数据仓库 比较流行的有：AWS Redshift, Greenplum, Hive等这样把数据从业务性的数据库中提取、加工、导入分析性的数据库就是传统的 ETL 工作。现在也有一些新的方法，这展开说又是另一件事情了，有机会再详细说说。