[从0开始机器学习]4.线性回归 正规方程

Posted 2022-11-18 ζั͡ ั͡雾 ั͡狼 ั͡✾

🐺本博主博客：ζั͡ ั͡雾 ั͡狼 ั͡✾的博客

🎀专栏：机器学习

🎀专栏：爬虫

🎀专栏：OpenCV图像识别处理

🎀专栏：Unity2D

---

⭐本节课理论视频：P23-P25 正规方程

⭐本节课推荐其他人笔记：正规方程（Normal equations）推导过程_momentum_的博客

🐺机器学习通过文字描述是难以教学学会的，每一节课我会推荐这个理论的网课，一定要看上面的理论视频！一定要看上面的理论视频！一定要看上面的理论视频！所以我只是通过代码实现，并通过注释形式来详细讲述每一步的原因，最后通过画图对比的新式来看结果比较。

⭐机器学习推荐博主：GoAI的博客_CSDN博客-深度学习,机器学习,大数据笔记领域博主

😊如果你什么都不懂机器学习，那我推荐GoAI的入门文章：机器学习知识点全面总结_GoAI的博客-CSDN博客_机器学习笔记

在线性回归中实际就是求代价函数对系数变量求导，导数为0的时候，即代价函数最小的时候，系数矩阵的值。以多元一次函数为例

 使用前提：1.X特征数量小于样本数量

                    2.X矩阵中不存在线性相关的量

缺点：n很大时候（n>10000），比起梯度下降法，运行远远慢

import numpy as np

# 全局变量

# 生成数据
# X中每一行代表一条数据i，代表着一个等式，其中列数代表着变量数，每个变量的系数是不知道的
# 每一行数据是y=k0x0+k1x1+k2x2+k3x3+k4x4,
# k是我们要回归的系数向量，x1，x2,x3,x4是每一行数据其中
# k0代表常数，x0恒为1
X = np.array([[5, 100, 58, -3],
              [7, 120, 59, -3],
              [3, 140, 50, -5],
              [10, 80, 45, -1],
              [6, 96, 55, -7],
              [15, 200, 52, -11],
              [11, 125, 65, -5],
              [12, 63, 100, -3],
              [20, 500, 66, -10]])
# 假设K系数为这个，咱们的算法就是逼近这个结果，当然，如果有自己的数据就更好了
preK = [12, -1, 2, 8] + np.random.random((1, 4))
# Y中的数据量等于X矩阵的行数
Y = (np.dot(preK, X.T) + np.random.random() * 15).ravel()  # 加的一项是随机常数项,最后将矩阵转换成数组向量


# X矩阵中第一列加入x0=1参数
X = np.insert(X, 0, np.ones((1, len(X))), axis=1)
# 数据个数
m = len(X)
# 参数个数
n = len(X[0])
# 输出
print(f"有n个参数，就是X列数算上常数项所乘的单位1")
print(f"有m条数据，就是加常数后X行数")
# 系数变量K矩阵就是多元参数的系数，就是我们要递归的重点变量，先给这个矩阵的每个值都赋予初始值1
K = np.ones(n)

#正规方程,固定公式详细推导见吴恩达P23
def NorEq():
    global X,Y,K
    m1=np.dot(X.T,X)
    m2=np.matrix(m1).I
    m3=np.dot(m2,X.T)
    K=np.dot(m3,Y.T)

if __name__ == "__main__":
    print("X",X)
    print("Y",Y)
    NorEq()
    print("K",K)
    print("preK",preK)

可见结果完全一致