数据挖掘基础

Posted 2021-04-27 田怡的世界

当前浏览器不支持播放音乐或语音，请在微信或其他浏览器中播放 1.3数据挖掘的基本任务……4
数据挖掘的基本任务包括利用分类与预测、聚类分析、关联规则、时序模式、偏差检测、智能推荐等方法，帮助企业提取数据中蕴含的商业价值，提高企业的竞争力。

1.4数据挖掘建模过程…4
1.4.1定义挖掘目标……4
针对具体的数据挖掘应用需求，首先要明确本次的挖掘目标是什么？系统完成后能达到什么样的效果？因此，我们必须分析应用领域，包括应用中的各种知识和应用目标，了解相关领域的情况，熟悉背景知识，弄清用户需求。要想充分发挥数据挖掘的价值，必须对目标有一个清晰明确的定义，即决定到底想干什么。

1.4.2数据取样……5
在明确了需要进行数据挖掘的目标后，接下来就需要从业务系统中抽取出一个与挖掘目标相关的样本数据子集。抽取数据的标准，一是相关性，二是可靠性，三是有效性，而不是动用全部企业数据。通过对数据样本的精选，不仅能减少数据处理量，节省系统资源，还可以使我们想要寻找的规律性更加凸显出来。
进行数据取样，一定要严把质量关。在任何时候都不能忽视数据的质量，即使是从一个数据仓库中进行数据取样，也不要忘记检查其质量。因为数据挖掘是要探索企业运作的内在规律性，原始数据有误，就很难从中探索规律性。若真的从中还探索出来了什么“规律性”，
再依此去指导工作，则很可能会造成误导。若从正在运行的系统中进行数据取样，更要注意数据的完整性和有效性。
衡量取样数据质量的标准如下。
1）资料完整无缺，各类指标项齐全。
2）数据准确无误，反映的都是正常（而不是异常）状态下的水平。
对获取的数据，可再从中进行抽样操作。抽样的方式是多种多样的，常见的方式如下。

1.5常用的数据挖掘建模工具……7
（1）SAS Enterprise Miner
Enterprise Miner（EM）是SAS推出的一个集成的数据挖掘系统，允许使用和比较不同的技术，同时还集成了复杂的数据库管理软件。它的运行方式是通过在一个工作空间（workspace）中按照一定的顺序添加各种可以实现不同功能的节点，然后对不同节点进行相应的设置，最后运行整个工作流程（workflow），便可以得到相应的结果。
（2）IBM SPSS Modeler
IBM SPSS Modeler原名Clementine，2009年被IBM公司收购后对产品的性能和功能进行了大幅度改进和提升。它封装了最先进的统计学和数据挖掘技术来获得预测知识，并将相应的决策方案部署到现有的业务系统和业务过程中，从而提高企业的效益。IBMSPSS Modeler拥有直观的操作界面、自动化的数据准备和成熟的预测分析模型，结合商业技术可以快速建立预测性模型。
（3）SQL Server
Microsoft公司的SQL Server中集成了数据挖掘组件——Analysis Servers，借助SQL Server的数据库管理功能，可以无缝地集成在SQL Server数据库中。在SQL Server2008中提供了决策树算法、聚类分析算法、Naive Bayes算法、关联规则算法、时序算法、神经网络算法、线性回归算法等9种常用的数据挖掘算法。但是，预测建模的实现是基于SQL Server平台的，平台移植性相对较差。
（4）Python
Python（Matrix Laboratory，矩阵实验室）是美国Mathworks公司开发的应用软件，具备强大的科学及工程计算能力，它不但具有以矩阵计算为基础的强大数学计算能力和分析功能，而且还具有丰富的可视化图形表现功能和方便的程序设计能力。Python并不提供一个专门的数据挖掘环境，但它提供非常多的相关算法的实现函数，是学习和开发数据挖掘算法的很好选择。
（5）WEKA
WEKA（Waikato Environment for Knowledge Analysis）是一款知名度较高的开源机器学习和数据挖掘软件。高级用户可以通过Java编程和命令行来调用其分析组件。同时，WEKA也为普通用户提供了图形化界面，称为WEKA Knowledge Flow Environment和 WEKA Explorer，可以实现预处理、分类、聚类、关联规则、文本挖掘、可视化等。
（6）KNIME
KNIME（Konstanz InformationMiner，http://www.knime.org）是基于Java开发的，可以扩展使用Weka中的挖掘算法。KNIME采用类似数据流（data flow）的方式来建立分析挖掘流程。挖掘流程由一系列功能节点组成，每个节点有输入/输出端口，用于接收数据或模型、导出结果。
（7）RapidMiner
RapidMiner 也称为YALE（Yet Another Learning Environment，https://rapidminer.com），提供图形化界面，采用类似Windows资源管理器中的树状结构来组织分析组件，树上每个节点表示不同的运算符（operator）。YALE中提供了大量的运算符，包括数据处理、变换、探索、建模、评估等各个环节。YALE是用Java开发的，基于Weka来构建，可以调用Weka中的各种分析组件。RapidMiner有拓展的套件Radoop，可以和Hadoop集成起来，在Hadoop集群上运行任务。
（8）TipDM
TipDM（顶尖数据挖掘平台）使用Java语言开发，能从各种数据源获取数据，建立多种数据挖掘模型。TipDM目前已集成数十种预测算法和分析技术，基本覆盖了国外主流挖掘系统支持的算法。TipDM支持数据挖掘流程所需的主要过程：数据探索（相关性分析、主成分分析、周期性分析）；数据预处理（属性选择、特征提取、坏数据处理、空值处理）；预测建模（参数设置、交叉验证、模型训练、模型验证、模型预测）；聚类分析、关联规则挖掘等一系列功能。

python数据分析机器学习大礼包

链接：https://pan.baidu.com/s/1bUsoxwjc-J24XspS6b8-sw
提取码：6qvn
复制这段内容后打开百度网盘手机App，操作更方便哦
列了下个人建议的优先级 可以做个参考

R超级大礼包

链接：https://pan.baidu.com/s/1F_9fwxMAHeNBpVhl6JJATg
提取码：vxgi
复制这段内容后打开百度网盘手机App，操作更方便哦

注意！这周就可以抢春运火车票啦

提醒大家，12月23日，就可以购买春运第一天，也就是2019年1月21日的火车票了，2019年1月12日，可以购买正月初六的火车票。学生旅客可以购买2018年12月1日到2019年3月31日期间的优惠火车票。

一分钟看懂一维空间到十维空间

一起来开下脑洞吧！

https://mp.weixin.qq.com/s?__biz=MzA5ODUxOTA5Mg%3D%3D&mid=2652564400&idx=1&sn=87ddb14fbd41978753c574b6613e523e

对于人的精神来说，赞扬就像阳光一样，没有它我们便不能开花生长。
从行为科学上看，人既有物质需求，又有精神需要，而渴望被赞扬和欣赏正是人的一种基本精神需要。赞扬与欣赏是一种互动的力量之源，赞扬者必抱愉悦之心、仁爱之怀、成人之美，这样被赞扬者才会产生自尊之心、奋进之力、向上之志。

晚安，加油，好梦！