Python数据分析之理论知识

Posted 2022-04-27 陌小柠

文章目录

• Python数据分析概述
• • 一、数据分析的概念
  • • 1.广义数据分析
    • 2.数据挖掘
  • 二、数据分析流程
  • • 1. 需求分析：
    • 2. 数据获取
    • 3.数据预处理
    • 4.分析与建模
    • 5.模型评价与优化
    • 6. 分类模型评价指标
    • 7.回归模型
    • 8.部署
  • 三、数据分析应用场景
  • 四、总思维导图

Python数据分析概述

一、数据分析的概念

1.广义数据分析

狭义数据分析

• 对比分析

• 分组分析

• 交叉分析

• 回归分析等

2.数据挖掘

• 智能推荐

• 关联规则

• 分类模型

• 聚类模型
  

二、数据分析流程

1. 需求分析：

主要指从用户提出的需求出发，挖掘用户内心的真实意图

2. 数据获取

• 网络数据

存储在互联网中的各类互联网中的各类视频、图片、语音和文字等信息

• 本地数据

存储在本地数据库中的生产、营销和财务等系统的数据

历史数据：系统在运行过程中遗留下来的数据，其数据量随系统在运行时间的增加而增长

实时数据：指最近一个单位时间周期内产生的数据

3.数据预处理

• 数据合并

• 数据清洗

   去掉重复
   缺失
   异常
   不一致的数据
  

• 数据标准化

• 数据变化

4.分析与建模

• 分析方法

   对比分析
   分组分析
   交叉分析
   回归分析
  

• 模型与算法

  聚类模型
  分类模型
  关联规则
  智能推荐
  

5.模型评价与优化

聚类模型评价指标
ARI评价法
AMI评价法
V-measure评分
FMI评价法

轮廓系数

6. 分类模型评价指标

准确率
精确率
召回率
F1值
ROC
AUC

7.回归模型

 平均绝对误差
 均方误差
 中值绝对误差
 可解释方差值

8.部署

三、数据分析应用场景

客户分析
营销分析
社交媒体分析
网络安全分析
设备管理
交通物流分析
欺诈行为检测

四、总思维导图