为什么神经网络做不了2次函数拟合，网上的都是骗人的吗？

Posted 2023-03-03 casdfxx

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了为什么神经网络做不了2次函数拟合，网上的都是骗人的吗？相关的知识，希望对你有一定的参考价值。

环境：tensorflow2 kaggle

这几天突发奇想，用深度学习训练2次函数。先在网上找找相同的资料这方面资料太少了。大多数如下：

。

给我的感觉就是，用深度学习来做，真的很容易。

网上写出代码分析的比较少。但是也找到了一篇，写的言简意赅，不过我自已训练时，却发现对训练之外的数据，预测的不好。下面分两部分来阐明这一现像与我的思考。

一、代码复现：

(204条消息) tensorflow2.0实现简单曲线拟合_一只双鱼儿的博客-CSDN博客_tensorflow2 曲线拟合

网络结构如下：

model = tf.keras.Sequential([
    tf.keras.layers.Dense(10,input_shape=(1,),activation="elu"),
    tf.keras.layers.Dense(1)
])

该文章效果如下：

可以看出，在训练集内效果是很好的，但是博主没有使用训练集外的数据。于是我扩展了预测集，效果如下：

可以发现，在[1,5]定义域内，基本就是直线了。

这就很奇怪了，在训练集内是曲线，之外是直线。看网络结构，确实引入了非线性的环节如:activation="elu"。那这个非线性环节究竟有多大用呢？这就引出了第一个问题。

我试着将网络结构改为如下(也就是只保留线性环节)：

"""
model = tf.keras.Sequential([
    tf.keras.layers.Dense(10,input_shape=(1,),activation="elu"),
    tf.keras.layers.Dense(1)
])
"""
model = tf.keras.Sequential([
    tf.keras.layers.Dense(1,input_shape=(1,)),
    tf.keras.layers.Dense(1)
])

效果如下：

好吧，那第一个问题是解决了。activation="elu"效果是很明显的。

二、为什么在训练集之外，生成了直线？

是过拟合吗？将训练集变成了查表法？

我做了如下实验，这其实是我的第二步（y=ax^2+bx+c+[noise]，第一步没保存），用来满足y=x^2已经足够了：

ds_x = []
ds_y = []


# 生成数据集
ds_x = np.linspace(-1,1,100)
ds_y = 5*ds_x**2 + 9*ds_x + 300 + np.random.randn(100)*0.05

class model_x2(tf.keras.Model):
    def __init__(self):
        super(model_x2,self).__init__()
        self.layer1   = tf.keras.layers.Dense(1)
        self.layer1_2 = tf.keras.layers.Dense(1)
        self.layer2   = tf.keras.layers.Dense(1)
        
        
        
        
    def call(self,in1):
        in2  = tf.keras.layers.Multiply()((in1,in1,in1)) #in1 * in1
        x    = self.layer1(in2)
        x1_2 = self.layer1_2(in1)
        x2   = tf.keras.layers.concatenate((x,x1_2))
        out  = self.layer2(x2)
        return out
    
model = model_x2()  
model.build(input_shape=(None,1))
model.summary()

opt       = tf.keras.optimizers.Adam(learning_rate=0.01)
los       = tf.keras.losses.MeanSquaredError()
acc       = tf.keras.metrics.MeanSquaredError()
model.compile(optimizer=opt,loss=los,metrics=acc)

model.fit(ds_x,ds_y,epochs=500)

#以下就是画图了，将数据集里【-1，1】添加到【-1，3】，多出来的【1，3】示为预测
x = np.linspace(-1,3,20000) #np.array(range(1,100,1))
#y = x**x

y_predict = model.predict(x)

ds_x = np.linspace(-1,3,100)
ds_y = 5*ds_x**2 + 9*ds_x + 300 + np.random.randn(100)*0.05

plt.scatter(ds_x,ds_y)
plt.plot(x,y_predict,'r')
plt.show()

#以下就是画图了，将数据集里【-1，1】添加到【-1，3】，多出来的【1，3】示为预测

效果如下：