数据挖掘中分类、预测、聚类的定义和区别。

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了数据挖掘中分类、预测、聚类的定义和区别。相关的知识,希望对你有一定的参考价值。

你好,
简单地说,分类(categorization
or
classification)就是按照某种标准给对象贴标签(label),再根据标签来区分归类。
简单地说,聚类是指事先没有“标签”而通过某种成团分析找出事物之间存在聚集性原因的过程。
区别是,分类是事先定义好类别
,类别数不变
。分类器需要由人工标注的分类训练语料训练得到,属于有指导学习范畴。聚类则没有事先预定的类别,类别数不确定。
聚类不需要人工标注和预先训练分类器,类别在聚类过程中自动生成
。分类适合类别或分类体系已经确定的场合,比如按照国图分类法分类图书;聚类则适合不存在分类体系、类别数不确定的场合,一般作为某些应用的前端,比如多文档文摘、搜索引擎结果后聚类(元搜索)等。
分类的目的是学会一个分类函数或分类模型(也常常称作分类器
),该模型能把数据库中的数据项映射到给定类别中的某一个类中。
要构造分类器,需要有一个训练样本数据集作为输入。训练集由一组数据库记录或元组构成,每个元组是一个由有关字段(又称属性或特征)值组成的特征向量,此外,训练样本还有一个类别标记。一个具体样本的形式可表示为:(v1,v2,...,vn;
c);其中vi表示字段值,c表示类别。分类器的构造方法有统计方法、机器学习方法、神经网络方法等等。
聚类(clustering)是指根据“物以类聚”原理,将本身没有类别的样本聚集成不同的组,这样的一组数据对象的集合叫做簇,并且对每一个这样的簇进行描述的过程。它的目的是使得属于同一个簇的样本之间应该彼此相似,而不同簇的样本应该足够不相似。与分类规则不同,进行聚类前并不知道将要划分成几个组和什么样的组,也不知道根据哪些空间区分规则来定义组。其目的旨在发现空间实体的属性间的函数关系,挖掘的知识用以属性名为变量的数学方程来表示。聚类技术正在蓬勃发展,涉及范围包括数据挖掘、统计学、机器学习、空间数据库技术、生物学以及市场营销等领域,聚类分析已经成为数据挖掘研究领域中一个非常活跃的研究课题。常见的聚类算法包括:k-均值聚类算法、k-中心点聚类算法、clarans、
birch、clique、dbscan等。
希望回答对您有帮助.
参考技术A sc-cpda 数据分析师公众交流平台 详细看我资料

区分是将目标类数据对象的一般特性与一个或多个对比类对象的一般特性进行比较。例如,具有高GPA 的学生的一般特性可被用来与具有低GPA 的一般特性比较。最终的描述可能是学生的一个一般可比较的轮廓,就像具有高GPA 的学生的75%是四年级计算机科学专业的学生,而具有低
GPA 的学生的65%不是。

关联是指发现关联规则,这些规则表示一起频繁发生在给定数据集的特征值的条件。例如,一个数据挖掘系统可能发现的关联规则为:major(X, “computing science”) ⇒ owns(X, “personal computer”) [support=12%, confidence=98%] 其中,X 是一个表示学生的变量。这个规则指出正在学习的学生,12% (支持度)主修计算机科学并且拥有一台个人计算机。这个组一个学生拥有一台个人电脑的概率是98%(置信度,或确定度)。

分类与预测
不同,因为前者的作用是构造一系列能描述和区分数据类型或概念的模型(或功能),而后者是建立一个模型去预测缺失的或无效的、并且通常是数字的数据值。它们的相似性是他们都是预测的工具:
分类被用作预测目标数据的类的标签,而预测典型的应用是预测缺失的数字型数据的值。

聚类分析的数据对象不考虑已知的类标号。对象根据最大花蕾内部的相似性、最小化类之间的相似性的原则进行聚类或分组。形成的每一簇可以被看作一个对象类。聚类也便于分类法组织形式,将观测组织成类分层结构,把类似的事件组织在一起。

数据演变分析描述和模型化随时间变化的对象的规律或趋势,尽管这可能包括时间相关数据的特征化、区分、关联和相关分析、分类、或预测,这种分析的明确特征包括时间序列数据分析、序列或周期模式匹配、和基于相似性的数据分析本回答被提问者采纳
参考技术B 数据分析挖掘这块,建议楼主看看帆软公司的finebi,挺不错的,强烈推荐一个! 参考技术C

分类是利用已有信息把目标数据按照预期分成不同的种类

聚类是利用已有信息把目标数据根据使用的聚类方法不同分成不同的种类

分类和聚类都可以说是预测

数据挖掘三大方向回归分类聚类的区别及应用场景

读完python数据分析与挖掘实战,对于监督学习、非监督学习这两个概念算是明白了,这里总结下三个方向算法的优缺和使用场景

1、回归算法

回归算法是对一种数值型连续变量进行预测和建模的监督学习算法,运用在股票走势,房价走势预测上,每一个样本都有标注真值进行监督算法

1.1 线性回归

  适用条件:线性回归的理解与解释都十分直观,在变量是非线性关系的时候表现很差

1.2 回归树

1.3 深度学习

1.4 最近邻算法

2、分类算法(监督学习)

对离散型随机变量建模或预测的监督学习算法,运用在邮件过滤,金融欺诈等输出为分类的场景中

2.1 Logistic回归

  适用条件:因变量一般只有1和0两种取值(自变量是线性可分效果明显)

2.2 决策树

  基于“分类讨论、逐步细化”思想的分类模型,模型直观,易解释

2.3 svm

  根据选择不同的核函数,模型可以是线性和非线性

2.4 随机深林

  精度比决策树高,缺点是由于随机性,丧失了决策树的可解释性

2.5 朴素贝叶斯

2.6 神经网络

2.7 深度学习

3、聚类

聚类是无监督学习,该算法基于数据的内部结构寻找观察样本的自然族群(即集群)。使用案例包括细分客户、新闻聚类、文章推荐等。

3.1 K-Means聚类

  将数据划分为预定的类数K,原理简单便于处理大数据

3.2 K-中心聚类

3.3 系统聚类(多层次聚类)

 

记录下三个方向常用的算法,只有最好的算法吗,只有最适合的算法,算法的优化和调参,下次补充



以上是关于数据挖掘中分类、预测、聚类的定义和区别。的主要内容,如果未能解决你的问题,请参考以下文章

基于R语言的分类、聚类研究

11.分类与监督学习,朴素贝叶斯分类算法

11.分类与监督学习,朴素贝叶斯分类算法

机器学习中分类与聚类的本质区别

分类与监督学习,朴素贝叶斯分类算法

11.分类与监督学习,朴素贝叶斯分类算法