Keras 没有在整个数据集上进行训练
Posted
技术标签:
【中文标题】Keras 没有在整个数据集上进行训练【英文标题】:Keras not training on entire dataset 【发布时间】:2020-07-22 03:20:15 【问题描述】:所以我一直在关注 Google 的官方 tensorflow 指南,并尝试使用 Keras 构建一个简单的神经网络。但是在训练模型时,它并没有使用整个数据集(有 60000 个条目),而是仅使用 1875 个条目进行训练。有什么可能的解决办法吗?
import tensorflow as tf
from tensorflow import keras
import numpy as np
fashion_mnist = keras.datasets.fashion_mnist
(train_images, train_labels), (test_images, test_labels) = fashion_mnist.load_data()
train_images = train_images / 255.0
test_images = test_images / 255.0
class_names = ['T-shirt', 'Trouser', 'Pullover', 'Dress', 'Coat', 'Sandal', 'Shirt', 'Sneaker', 'Bag', 'Ankle Boot']
model = keras.Sequential([
keras.layers.Flatten(input_shape=(28, 28)),
keras.layers.Dense(128, activation='relu'),
keras.layers.Dense(10)
])
model.compile(optimizer='adam',
loss= tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
metrics=['accuracy'])
model.fit(train_images, train_labels, epochs=10)
输出:
Epoch 1/10
1875/1875 [==============================] - 3s 2ms/step - loss: 0.3183 - accuracy: 0.8866
Epoch 2/10
1875/1875 [==============================] - 3s 2ms/step - loss: 0.3169 - accuracy: 0.8873
Epoch 3/10
1875/1875 [==============================] - 3s 2ms/step - loss: 0.3144 - accuracy: 0.8885
Epoch 4/10
1875/1875 [==============================] - 3s 2ms/step - loss: 0.3130 - accuracy: 0.8885
Epoch 5/10
1875/1875 [==============================] - 3s 2ms/step - loss: 0.3110 - accuracy: 0.8883
Epoch 6/10
1875/1875 [==============================] - 3s 2ms/step - loss: 0.3090 - accuracy: 0.8888
Epoch 7/10
1875/1875 [==============================] - 3s 2ms/step - loss: 0.3073 - accuracy: 0.8895
Epoch 8/10
1875/1875 [==============================] - 3s 2ms/step - loss: 0.3057 - accuracy: 0.8900
Epoch 9/10
1875/1875 [==============================] - 3s 2ms/step - loss: 0.3040 - accuracy: 0.8905
Epoch 10/10
1875/1875 [==============================] - 3s 2ms/step - loss: 0.3025 - accuracy: 0.8915
<tensorflow.python.keras.callbacks.History at 0x7fbe0e5aebe0>
这是我一直在研究的原始 google colab 笔记本:https://colab.research.google.com/drive/1NdtzXHEpiNnelcMaJeEm6zmp34JMcN38
【问题讨论】:
【参考方案1】:拟合模型时显示的数字1875
不是训练样本;它是批次的数量。
model.fit
包含一个可选参数batch_size
,根据documentation:
如果未指定,
batch_size
将默认为 32。
所以,这里发生的情况是 - 您适合 32 的默认批次大小(因为您没有指定任何不同的内容),所以您的数据的批次总数是
60000/32 = 1875
【讨论】:
【参考方案2】:它没有在 1875 个样本上进行训练。
Epoch 1/10
1875/1875 [===
这里的 1875 是步数,而不是样本。在fit
方法中,有一个参数batch_size
。它的默认值为32
。所以1875*32=60000
。实现是正确的。
如果你用batch_size=16
训练它,你会看到步数将是3750
而不是1875
,因为60000/16=3750
。
【讨论】:
【参考方案3】:如果您希望整个 60000 个数据样本都可见,只需使用 batch_size = 1。
【讨论】:
请添加一些解释。为什么您认为您提出的解决方案可能对 OP 有所帮助。以上是关于Keras 没有在整个数据集上进行训练的主要内容,如果未能解决你的问题,请参考以下文章
如何使用 2 个数据集,1 个用于训练,1 个用于在 WEKA 上进行情感分析测试
Keras训练神经网络DEMO——全连接神经网络训练MNIST
Keras训练神经网络DEMO——全连接神经网络训练MNIST
python使用反向传播(backpropagation)算法在sklearn库自带的缩小版MINIST手写数据集(1797张图片)上进行训练并测试