机器学习：多项式拟合分析中国温度变化与温室气体排放量的时序数据

Posted 2023-04-12 天海一直在

文章目录

• • 1、前言
  • 2、定义及公式
  • 3、案例代码
  • • 1、数据解析
    • 2、绘制散点图
    • 3、多项式回归、拟合
    • 4、注意事项

1、前言

​ 当分析数据时，如果我们找的不是直线或者超平面，而是一条曲线，那么就可以用多项式回归来分析和预测。

2、定义及公式

​ 多项式回归可以写成：
$$Y_i={\beta }_0+{\beta }_1{X}_i+{\beta }_2{X}_i^2+...+{\beta }_k{X}_i^k$$
​ 例如二次曲线：
$$Y=aX+b{X}^2+c$$

3、案例代码

1、数据解析

​ 首先有1961年至2017年我国地表温度变化和温室气体排放量的时间序列数据，前十条数据如下。

temp	emissions
0.257	5635838102
-0.142	6075180207
0.288	6510697811
-0.028	6946401541
0.076	7421082166
0.18	7942541079
-0.286	8374764636
-0.414	8842570279
-0.22	9418514950

2、绘制散点图

​ 对于该数据我们先通过绘制散点图，这可以看出该数据适用于什么模型。

import matplotlib.pyplot as plt
import xlrd
import numpy as np
# 载入数据，打开excel文件
ExcelFile = xlrd.open_workbook("sandian.xls")
sheet1 = ExcelFile.sheet_by_index(0)
x = sheet1.col_values(0)
y = sheet1.col_values(1)
# 将列表转换为matrix
x = np.matrix(x).reshape(48, 1)
y = np.matrix(y).reshape(48, 1)

# 划线y
plt.title("Epidemic and Dow Jones data analysis")
plt.xlabel("new cases")
plt.ylabel("Dow Jones Volume")
plt.plot(x, y, 'b.')
plt.show()

​ 上述使用xlrd方式不建议使用，简单了解即可，正常我们会使用下述更为方便且稳定的pandas来读取csv文件，这会大大简洁我们的代码并减少工作量。当然结果也是一样的。

import matplotlib.pyplot as plt
import numpy as np
import pandas as pd


x = pd.read_csv('china.csv')['emissions']
y = pd.read_csv('china.csv')['temp']
# 划线y
plt.title("temp and emission")
plt.xlabel("emissions change")
plt.ylabel("temp change")
plt.plot(x, y, 'b.')
plt.show()

​ 如图所示很明显，在排放量变化达到1.5(1e11)时，斜率发生了改变，因此我们可以判断这是一个多项式模型。

3、多项式回归、拟合

​ 通过散点图的趋势，我们首先选择拟合3次来防止过拟合和欠拟合。

import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
from sklearn.metrics import r2_score
from matplotlib.font_manager import FontProperties  # 导入FontProperties

font = FontProperties(fname="simhei.ttf", size=14)  # 设置字体
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] =False

x = pd.read_csv('china.csv')['emissions']
y = pd.read_csv('china.csv')['temp']

# 进行多项式拟合（这里选取3次多项式拟合）
z = np.polyfit(x, y, 3) # 用3次多项式拟合
 
# 获取拟合后的多项式
p = np.poly1d(z)
print(p)  # 在屏幕上打印拟合多项式
 
# 计算拟合后的y值
yvals=p(x)
 
# 计算拟合后的R方，进行检测拟合效果
r2 = r2_score(y, yvals)
print('多项式拟合R方为:', r2)
 
# 计算拟合多项式的极值点。
peak = np.polyder(p, 1)
print(peak.r)

# 画图对比分析
plot1 = plt.plot(x, y, '*', label='初始值', color='red')
plot2 = plt.plot(x, yvals, '-', label='训练值', color='blue',linewidth=2)
 
plt.xlabel('温室气体排放量',fontsize=13, fontproperties=font)
plt.ylabel('温度变化',fontsize=13, fontproperties=font)
plt.legend(loc="best")
plt.title('中国温室气体排放量与地表温度变化的关系')
plt.show()

​ 最后结果如下图

           3             2
3.002e-34 x - 1.351e-22 x + 2.284e-11 x - 0.2613
多项式拟合R方为: 0.7468687074304835
[1.50000065e+11+5.34488173e+10j 1.50000065e+11-5.34488173e+10j]

​ 我们发现，这并不符合我们的预期，因为温室气体排放量在1.5(1e11)时，散点图趋势有明显的凹陷，而使用三次拟合并不能让曲线拟合到散点上。所以我们将 z = np.polyfit(x, y, 4)中的3改为4，来进行四次拟合。

​ 这样就达到了我们的预期效果，并输出我们的多项式回归公式。

           4             3             2
1.702e-44 x - 6.273e-33 x + 6.634e-22 x - 9.696e-12 x + 0.03595
多项式拟合R方为: 0.7962406171380259
[1.60734484e+11 1.07514523e+11 8.24309615e+09]

​ 我们可以得到数学模型：
$$Y=1.702\ast 10^{-44}X-6.273\ast 10^{-33}X+6.634\ast 10^{-22}X-9.696\ast 10^{-12}X+0.03595$$

4、注意事项

from matplotlib.font_manager import FontProperties  # 导入FontProperties
font = FontProperties(fname="simhei.ttf", size=14)  # 设置字体
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] =False

​ 这些代码用于显示汉字标题，这需要你的本机中有一个汉字字体文件，simhei.ttf或其他字体文件。

​ 如果需要引入，在第二行中指定文件路径。

机器学习入门之多项式曲线拟合

多项式曲线拟合

机器学习和人工智能是最近几年特别火的领域，比如微软小冰、微软cortana、苹果siri、谷歌Now和alphaGo都使用了机器学习，使得他们的产品变得更加智能。
当然除了这些科技巨头，其实我们日常中也可能会使用到人工智能的产品，比如最常见的就是app上的个性化推荐，通过多维度分析用户的个性，给用推荐合适的内容，当然我个人是很讨厌推荐的，基本不点开看。下面我将分为两个部分来阐述多项式曲线拟合。

• 什么是多项式曲线拟合
• 如何评估拟合结果

---

1、什么是多项式曲线拟合

首选我们以一个回归的例子展开阐述，现在假设给定一个训练集。这个训练集由x的N次观测组成,写作 ≡ (x1,…,xN)T,伴随这 对应的t的观测值,记作 ≡ (t1, …, tN )T，图1展示了由N = 10个数据点组成的图像。图1.2中 的输入数据集合 通过选择xn(n = 1, … , N)的值来生成。这些xn均匀分布在区间[0, 1],目标数 据集 的获得方式是:首先计算函数sin(2πx)的对应的值,然后给每个点增加一个小的符合高斯分布的随机噪声。

现在我们输入一个新值x来预测相应的t值。首选我们需要通过训练得出的多项式为y(x,w)，y(x,w)是一个多项式：

y(x,w)是曲线多项式，它是一个逼近我们真实曲线的多项式。

2、如何评估拟合结果

在上式y(x,w)中M是多项式的阶数(order),xj表示x的j次幂。多项式系数w0,…,wM整体记作向量w。 注意,虽然多项式函数y(x, w)是x的一个非线性函数,它是系数w的一个线性函数。通过最小化误差函数 (error function)来衡量了对于任意给定的w值,函数y(x, w)与训练集数据的差别。如图所示：

那么我可以知道误差函数为：

其中1/2是为了方便计算引入的。
我们可以通过选择使得E(w)尽量小的w来解决曲线拟合问题。由于误差函数是系数w的二次函数,因此它关于系数的导数是w的线性函数,所以误差函数的最小值有一个唯一解,记 作w∗,可以用解析的方式求出。最终的多项式函数由函数y(x, w∗)给出。

从图中我们可以看出M=0和M=1拟合效果很差，我们称之为欠拟合，M=3拟合看起来和真实 的曲线差不多，但是当M=9的时候，拟合曲线激烈震荡，我们称之为过拟合。如此看来，曲线拟合的泛化性和M的取值有直接的关系，而M得值我们称之为模型特征个数，比如说房子的价格和房子面积有关系，和房子方向（南北向）有关系，那么面积是房子价格数学模型中的一个特征，房子方向也是一个特征。
为了定量考察泛化性和M之间的关系，我们额外考虑一个测试集，这个测试集由100个数据 点组成,这100个数据点的生成方式与训练集的生成方式完全相同，但是在目标值中包含的随机 噪声的值不同。对于每个不同的M值，我用用根均方(RMS)来表示测试误差：

其中，除以N让我们能够以相同的基础对比不同大小的数据集,平方根确保了E_RMS与目标 变量t使用相同的规模和单位进行度量。下图展示了不同M值和E_RMS的关系：

从中我们可以看到，M=3-8测试误差和训练误差都比较低。能够取得较好的效果。
对已一个给定的模型复杂度,当数据集的规模增加时,过拟合问题变得不那么严重。另一种表 述方式是,数据集规模越大,我们能够用来拟合数据的模型就越复杂(即越灵活)。一个粗略的启发是,数据点的数量不应该小于模型的可调节参数的数量的若干倍(比如5或10)。下图是使用M = 9的多项式对M = 15个数据点(左图)和N = 100个数据点(右图)通过最小化平方和 误差函数的方法得到的解。我们看到增大数据集的规模会减小过拟合问题。

因此，我们了解到增加数据可以减小过拟合问题。但是我们又引来新的问题，那就是不得不根据可得到的训练集的规模限制参数的数量。也可以说是根据待解决的问题的复杂性来选择模型的复杂性。我们可能期望建立相对复杂和灵活的模型，所以我们经常用来控制过拟合现象的一种技术是正则化(regularization)。这种技术涉及到给误差函数增加一个惩罚项,使得系数不会达到很大的值。这种惩罚项最简单的形式采用所有系数的平方和的形式。

其中∥w∥^2 ≡ wT w = w0^2 + w1^2 + … + wM^2 ,系数λ控制了正则化项相对于平方和误差项的重要性，被称之为正则化系数。通过引入正则化项可以减少过拟合的问题。下图是正则化系数对过拟合影响图：

使用正则化的误差函数，用M = 9的多项式拟合图中的数据集。其中正则化参数λ选择 了两个值,分别对应于ln λ = −18和ln λ = 0。因此引入正则化项也可以减少过拟合问题。

总结

在多项式虚线拟合过程中，我们遇到了两个问题，一个是欠拟合，一个是过拟合，对于欠拟合我们只需要增加参数（或者说特征）是拟合更加好，对于过拟合，我们提到了两种方式来解决，一个是增加数据，通过增加数据的方式增加引入更多的特征从而减少过拟合，另一种是增加正则化项。