第一章Python数据分析概述

Posted udbful

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了第一章Python数据分析概述相关的知识,希望对你有一定的参考价值。

第一章Python数据分析概述

1、理解数据

2、认识数据分析

3、数据分析工具Python

4、重要的Python数据分析类库

5、集成开发环境和文本编辑器

6、使用Jupyter Notebook

 

第1节:理解数据

1、数据有结构化数据、半结构化数据和非结构化数据

结构化数据有: 1、表格型数据 2、多维数组(矩阵) 3、通过关键列相互联系的多个表(如sql中的主外键) 4、间隔平均或不平均的时间序列

 

第2节:认识数据分析

1、数据分析是数学与计算机科学结合的产物

2、数据分析方法

  • 描述型分析
  • 诊断型分析
  • 预测型分析
  • 指令型分析

3、数据分析的一般流程

  1. 需求分析
  2. 数据获取
  3. 数据预处理
  4. 数据分析与建模
  5. 模型评价和优化
  6. 部署
 

第3节:数据分析工具Python

1、目前主流的数据分析语言有R、Python

功能对比:

  • Python与R相比速度更快
  • Python的工程化应用强于R
  • Python的应用场景大于R
  • Python处理大数据的速度快于R
  • 统计理论研究、前沿科学研究,R比Python更胜一筹

应用场景对比

  • 使用Python进行数据预处理、数据清洗,特别是针对非结构化的数据,具有极强的灵活性,能够从自由文本、网站等提取信息,便于图像挖掘和为分析准备数据
  • 使用R进行分析、数据可视化与建模:
    • 为分析提供了极好的灵少性
    • R使你在分析时候更容易思考
    • 由于R有着十分活跃的统计和数学社区

2、Python的优势

  • 优雅、简单、明确
  • 强大的标准库
  • 良好的可扩展性
  • 胶水语言(开源、可移植、可嵌入到C等程序中)
 

第4节:重要的Python数据分析类库

1、NumPy(Numerical Python)是Python科学计算的基础包

  • 提供了快速高效的多维数组对象ndarray
  • 提供了对数组执行元素级计算以及直接对数组执行数学运算的函数
  • 提供了读写硬盘上基于数组的数据集的工具
  • 提供了线性代数运算、傅里叶变换、随机数生成功能
  • 提供了成熟的C API,用于Python插件和原生C、C++、Fortran代码访问NumPy的数据结构和计算工具

  • NumPy为Python提供快速的数组处理能力

  • NumPy在数据分析方面作为在算法和库之间传递数据的容器
  • 对于数值型数据,NumPy数组在存储和处理数据时要比内置的Python数据结构高效得多
  • 由低级语言编写的库可以直接操作NumPy数组中的数据,无需进行任何数据复制工作

2、pandas是Python的一个数据分析包(最初由金融数据分析工具开发而来)

  • pandas为时间序列分析提供了很好支持
  • pandas是基于NumPy的一种工具,是为了解决数据分析任务而创建的
  • pandas纳入了大量库和一些标准的数据模型,提供了高效的操作大型数据集所需的工具
  • pandas提供了大量能使我们快速便捷处理数据的函数和方法
  • pandas是使Python成为强大而高效数据分析环境的重要因素之一

3、Matplotlib是Python的一个2D绘图库

  • 它以各种硬拷贝格式和跨平台的交互式环境,生成用于出版质量级别的图形
  • Matplotlib操作简单,几行代码就可以生成折线图、直方图、功率谱图、条形图、错误图、散点图等
  • 提供了pylab的模块,其中包括了NumPy和pyplot中许多常用的函数,方便用户快速进行计算和绘图

4、SciPy是一组专门解决科学计算中各种标准问题域的包的集合

5、scikit-learn是最为流行的Python的通用机器学习工具包

6、stats models是一个统计分析包,包含经典统计学和经济计算学的算法

 

第5、6节:集成开发环境和文本编辑器及使用Jupyter Notebook

  • Tab补全
  • shit+enter 运行代码
  • 加粗 节能
  • 斜体 斜体
  • 表格制作
  • 导出方式

以上是关于第一章Python数据分析概述的主要内容,如果未能解决你的问题,请参考以下文章

第一章数据分析介绍

python基础第一章 概述

老吴Python宝典之——Python的概述与安装(第一章)

编译技术图示(第一章 编译概述)

[OpenGL红宝书]第一章 OpenGL概述

第一章概述