Machine Learning Basics

Posted 2022-09-30 Harris-H

Machine Learning Basics

1.Modeling

最常见的分类问题，从带有标签的Data中训练Model然后对Future Data 进行预测。

1.1 Linear Models

一个常见的LInear Models，一个$d$维的特征向量x，乘上对应的系数矩阵得到预测结果。

---

---

根据训练的数据，我们用预测值和真实值的平方差之和的平均值，作为Loss

Function，然后使用Least squares regression(最小二乘法)更新$w$

---

然后Linear Regression 对于比如图片预测年龄效果十分糟糕。

---

1.2 CNN

传统的方法是通过一些特征提取算法提取Feature vector，然后通过Linear Model 预测。

---

使用CNN可以不断提取高级别的Feature 然后通过可训练的分类器进行分类。

---

CNN更适合图像数据。

---

1.3 CNN‘s applications

1.4.RNN循环神经网络

1.5 Application

机器翻译

语音识别

---

1.6 DFL(深度强化学习)

如围棋、机器人控制。

---

1.7 总结

---

2.Computations

解决这些模型，通常使用数值计算方法：如梯度下降和随机梯度下降。

---

2.1 Gradient Descent

---

---

2.2 Computational Challenges

计算量大+模型参数大导致训练很慢。

---

2.3 Machine Learning in Practice

找到合适数据和问题的模型，然后缺点网络结构、激活函数、损失函数等。
不断改进预测准确率(通过ML model经验和对问题数据的理解)

设计或使用高效的算法，然后在系统仿真模拟算法。不断根据经验优化算法。