机器学习从入门到到实践（慢更）

Posted 2022-04-27 BabiMonkey

机器学习简介

机器学习（ML)是计算机系统为了有效地执行特定任务，不使用明确的指令，而依赖模式和推理使用的算法和统计模型的科学研究。它被视为人工智能的一个子集。机器学习算法构建一个基于样本数据的数学模型，称为“训练数据”，以便在没有明确编程来执行任务的情况下进行预测或决策。机器学习算法用于各种应用，例如电子邮件过滤和计算机视觉，在这些应用中，开发用于执行任务的特定指令的算法是不可行的。机器学习与计算统计学密切相关，计算统计学侧重于使用计算机进行预测。算法优化的研究为机器学习领域提供了方法、理论和应用领域。数据挖掘是机器学习中的一个研究领域，侧重于探索性数据分析到无监督学习。在跨业务问题的应用中，机器学习也被称为预测分析。

机器学习岗位职责

1.数据处理（采集和去噪）
2.模型训练（特征+模型）
3.模型评估与优化（MSE、F1-score、AUC+调参）
4.模型应用（A/B测试）

深度学习简介

深度学习为机器学习的一种方法

深度学习算法集合：
1.卷积神经网络
2.循环神经网络：处理不定长数据
3.自动编码器
4.稀疏编码
5.深度信念网络
（其中3-5本文不涉及）
6.深度学习+强化学习=深度强化学习

深度学习进展

图像分类：在CNN出现之后，研究人员改进CNN算法，错误率越来越少，Google最近的一套算法错误率到5%左右。
机器翻译：
图像生成：转化成艺术风格照片

Alphago：

神经元

神经元——最小的神经网络

w为权重，g为激活函数（后续会讲），x为问题中抽取的特征
注：这里仅是简单介绍一下，激活函数中有一个偏置值b，暂且不介绍

神经元计算举例：
a=[3,1,2]
w=[0.4,0.6,0.5]
g(a)=a/10
那么：
Wa=30.4+10.6+20.5=2.8
G(w*a)=G(2.8)=0.28

二分类逻辑斯蒂回归介绍
激活函数采用sigmoid就确定了采用二分类逻辑斯蒂回归模型

可以看到这个函数为关于（0.0.5）对称，输出在0-1之间——概率的输出也是在0-1之间，则有如下定义：
1.Y=0的时候的输出：
P(Y=0|x)=hw(x)=1/(1+e-wTx)
P(Y=1|x)=1-P(Y=0|x)
这里便定义好了一个二分类的逻辑斯蒂回归模型，而如果要引入多分类的回归模型，便引出神经网络的概念

神经网络

神经元——>多分类
W从向量扩展为矩阵
输出W*x则变成向量

如下图所示，增加了一个神经元，便可实现三分类

多输出实例：

X=[3,1,2]
W=[0.4,0.6,0.5],[0.3,0.2,0.1]
那么：
Y=[y0,y1]=[2.8,1.3]
Y0=W[0]x=30.4+10.6+20.5=2.8
Y1=W[1]x=30.3+10.2+20.1=1.3

如何扩展进行多分类？

在处理很多现实问题时，二分类模型不常用，而常用一些多分类模型，那么就需要从多输出神经元建立多分类模型
多输出神经元->softmax->多分类逻辑斯蒂回归模型
在二分类模型中，我们使用激活函数sigmoid，得到的表达式为：

如P的分母所示，在建立二分类逻辑斯蒂回归的时候，分母相当于是一个归一化的过程，如下图所示，进行归一化即可得到二分类一样的效果，需要进行扩展，只需要W*x

多输出神经元->softmax->多分类逻辑斯蒂回归模型