机器学习介绍篇

Posted 2021-07-18 行码棋

机器学习介绍

• 机器学习介绍篇
• • 1.人工智能
  • • 1.1. 发展必备的三要素：
    • 1.2.分支
• 2.机器学习流程
• • 2.1. 概念
  • 2.2. 流程
  • 2.3.数据集介绍
  • 2.4.数据基本处理
  • 2.5. 特征工程
  • • 2.5.1. 含义
    • 2.5.2 包含内容

机器学习介绍篇

1.人工智能

1.1. 发展必备的三要素：

• 数据
• 算法
• 计算力
  • CPU，GPU，TPU

GPU是计算密集型的程序，大量简单的运算就在这上面运行。

CPU和GPU的区别：
可以访问这个链接，讲的非常详细，简单易懂。

http://www.sohu.com/a/201309334_468740

Google TPU 介绍：

https://buzzorange.com/techorange/2017/09/27/what-intel-google-nvidia-microsoft-do-for-ai-chips/

1.2.分支

• 计算机视觉(CV)、
  • 物体检测
  • 人脸识别
• 自然语言处理(NLP)
  • 文本挖掘/分类
  • 机器翻译
  • 语音识别
• 机器人

2.机器学习流程

2.1. 概念

机器学习是从数据中自动分析获得模型，并利用模型对未知数据进行预测

2.2. 流程

机器学习流程总结

• 1.获取数据
• 2.数据基本处理
• 3.特征工程
• 4.机器学习(模型训练)
• 5.模型评估
  • 结果达到要求，上线服务
  • 没有达到要求，重新以上步骤

2.3.数据集介绍

• 数据简介
  • 一行数据称为一个样本
  • 一列数据称为一个特征
  • 有些数据有目标值（标签值）（想要得到的值），有些数据没有目标值
• 数据类型构成：
  • 数据类型一：特征值+目标值（目标值是连续的和离散的）
  • 数据类型二：只有特征值，没有目标值
• 数据分割：
  • 机器学习一般的数据集会划分为两个部分：
    • 训练数据：用于训练，构建模型
    • 测试数据：在模型检验时使用，用于评估模型是否有效
  • 划分比例：
    • 训练集：70% 80% 75%
    • 测试集：30% 20% 25%

2.4.数据基本处理

对数据的缺失值以及去除异常值的处理

2.5. 特征工程

2.5.1. 含义

使用专业背景知识和技巧处理数据，使得特征能在机器学习算法上发挥更好的作用的过程。

2.5.2 包含内容

• 特征提取

将任意数据转化为能够用于机器学习的数字特征

• 特征预处理

通过一些转换函数将特征数据转换成更加适合算法模型的特征数据过程

• 特征降维

指在某些限定条件下，降低随机变量(特征)个数，得到一组“不相关”主变量的过程