hadoop大数据分析与挖掘实战（读书笔记1）
Posted ZhuangPark
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了hadoop大数据分析与挖掘实战（读书笔记1）相关的知识，希望对你有一定的参考价值。
第一章节是从一个餐厅的角度出发，引出来许许多多的相关概念。
第一个概念就是什么是数据挖掘，这个简单，望文生义就好了。它的名字本身就诠释了它的内涵。
基本任务还是得记一下：
1分类与预测。（有点像量化，股票交易）
2聚类分析（）
3关联规则（）
4时序模式（）
5偏差检测（）
关于定义挖掘目标，就是什么菜品推荐，门店开在哪，这些问题。可以不多说。
关于数据取样，没啥好说的。
然后重点在后面，
数据质量分析：有缺失值怎么办？（就是统计一下缺失率什么的，然后删掉或者补值呗）
有异常值怎么办？（识别出来然后删掉呗。怎么识别，用四分位图，异常值小于下四分位-四分位距 或大于上四分位+四分位距）
数据矛盾怎么办？（可能就是数据旧了呗，比如说换了手机号啥的。更新一下就好啦）
就是解决这三个问题。
数据特征分析：分布分析：直方图，分布图，雷达图啥的。
对比分析：折线图呗。还记得文明5里文明得分折线图么？
统计量分析：计算均值，方差，标准差，找中值呗
周期性分析：列出时间表，看看有没有周期性呗。
贡献度分析（帕累托分析）：做帕累托图，直方图+折线（各菜品量+贡献线）
相关性分析：散点图，回归线性分析呗
数据预处理：
数据清洗（删除缺失值，或用拉格朗日，牛顿法补缺失值。删除或不处理异常值，分析异常值。）
数据集成（合并数据源，解决数据重复冗余的工作）
数据变换（简单函数变换比如取对数，规划化按比例缩小到[0,1], 连续属性离散化，新属性构造，小波变换）
数据规约（属性规约，就是删属性呗，数值规约，就是减少数据量呗）
挖掘建模与模型评价
挖掘建模就是考虑是哪个问题：
1分类与预测。（有点像量化，股票交易）
2聚类分析（）
3关联规则（）
4时序模式（）
5偏差检测（）选取相应的模型。
当然还要用无关的测试集，测试一下来挑战一下模型
以上是关于hadoop大数据分析与挖掘实战（读书笔记1）的主要内容，如果未能解决你的问题，请参考以下文章
Hadoop大数据分析与挖掘实战----------P23~25