大数据分析处理基本流程
Posted lonelyshy
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了大数据分析处理基本流程相关的知识，希望对你有一定的参考价值。
大数据分析处理基本流程
- 数据准备
- 数据获取（爬虫，统计）
- 数据清洗（获得想要的数据，去除无用的相关数据）
- 特征工程
- 特征提取
- 比如我爬下网页，网页中有图片，视频，文本信息，url等等之类的特征消息
- 特征选择
- 网页保存这学生的信息，我想要计算每个学生的BMI（身体质量指数），而这类信息是在网页中的文本信息中的名字，身高和体重就行了，除此之外的学习成绩，寝室号就不重要了。
- 特征提取
- 建模分析
- 模型选择
- 模型训练
- 模型评测
- 数据可视化和分析报告
以上是关于大数据分析处理基本流程的主要内容，如果未能解决你的问题，请参考以下文章