自动编码器的正则化太强（Keras 自动编码器教程代码）

Posted 2023-02-16

【中文标题】自动编码器的正则化太强（Keras 自动编码器教程代码）

【英文标题】：Too strong regularization for an autoencoder (Keras autoencoder tutorial code)

【发布时间】：2017-09-25 05:44:25

【问题描述】：

我正在使用这个关于自动编码器的教程：https://blog.keras.io/building-autoencoders-in-keras.html

所有代码都可以工作，但是当我为正则化参数设置10e-5 时，性能很差（结果模糊），这是教程代码中定义的参数。事实上，我需要将正则化减少到 10e-8 才能得到正确的输出。

我的问题如下：为什么结果与教程如此不同？数据一样，参数一样，没想到差别很大。

我怀疑 Keras 函数的默认行为已从 2016 年 5 月 14 日开始更改（在所有情况下都执行自动批量标准化？）。

输出

带有10e-5正则化（模糊）； val_loss of 0.2967 在 50 个 epoch 之后和 0.2774 在 100 个 epoch 之后。 使用10e-8 正则化：val_loss 和 0.1080 在 50 个 epoch 之后和 0.1009 在 100 个 epoch 之后。 没有正则化：val_loss of 0.1018 在 50 个 epoch 之后和 0.0944 在 100 个 epoch 之后。

完整代码（供参考）

# Source: https://blog.keras.io/building-autoencoders-in-keras.html
import numpy as np
np.random.seed(2713)

from keras.layers import Input, Dense
from keras.models import Model
from keras import regularizers

encoding_dim = 32

input_img = Input(shape=(784,))
# add a Dense layer with a L1 activity regularizer
encoded = Dense(encoding_dim, activation='relu',
                activity_regularizer=regularizers.l1(10e-5))(input_img)
decoded = Dense(784, activation='sigmoid')(encoded)

autoencoder = Model(input_img, decoded)

# this model maps an input to its encoded representation
encoder = Model(input_img, encoded)

# create a placeholder for an encoded (32-dimensional) input
encoded_input = Input(shape=(encoding_dim,))
# retrieve the last layer of the autoencoder model
decoder_layer = autoencoder.layers[-1]
# create the decoder model
decoder = Model(encoded_input, decoder_layer(encoded_input))

autoencoder.compile(optimizer='adadelta', loss='binary_crossentropy')

from keras.datasets import mnist
(x_train, _), (x_test, _) = mnist.load_data()

x_train = x_train.astype('float32') / 255.
x_test = x_test.astype('float32') / 255.
x_train = x_train.reshape((len(x_train), np.prod(x_train.shape[1:])))
x_test = x_test.reshape((len(x_test), np.prod(x_test.shape[1:])))
print(x_train.shape)
print(x_test.shape)

autoencoder.fit(x_train, x_train,
                epochs=100,
                batch_size=256,
                shuffle=True,
                validation_data=(x_test, x_test))

# encode and decode some digits
# note that we take them from the *test* set
encoded_imgs = encoder.predict(x_test)
decoded_imgs = decoder.predict(encoded_imgs)

# use Matplotlib (don't ask)
import matplotlib.pyplot as plt

n = 10  # how many digits we will display
plt.figure(figsize=(20, 4))
for i in range(n):
    # display original
    ax = plt.subplot(2, n, i + 1)
    plt.imshow(x_test[i].reshape(28, 28))
    plt.gray()
    ax.get_xaxis().set_visible(False)
    ax.get_yaxis().set_visible(False)

    # display reconstruction
    ax = plt.subplot(2, n, i + 1 + n)
    plt.imshow(decoded_imgs[i].reshape(28, 28))
    plt.gray()
    ax.get_xaxis().set_visible(False)
    ax.get_yaxis().set_visible(False)
plt.show()

【参考方案1】：

我也有同样的问题。它在 GitHub 上 https://github.com/keras-team/keras/issues/5414 看来您只是更改常量是正确的。