MNIST 训练的网络用我自己的样本进行了测试

Posted 2023-02-16

【中文标题】MNIST 训练的网络用我自己的样本进行了测试

【英文标题】：MNIST trained network tested with my own samples

【发布时间】：2021-12-06 02:01:40

【问题描述】：

我使用 MNIST 数据集训练了一个密集神经网络，以便对 28x28 的数字图像进行分类。现在我试图让它与我自己的样本一起工作（我在油漆中绘制了一个“7”的图像并将其转换为一个数组），但结果真的很差。

from tensorflow.keras.datasets import mnist

(train_images, train_labels), (test_images, test_labels) = mnist.load_data()

from tensorflow.keras import models
from tensorflow.keras import layers

network = models.Sequential()
network.add(layers.Dense(512, activation='relu', input_shape=(28*28,)))
network.add(layers.Dense(10, activation='softmax'))

network.compile(optimizer='rmsprop',
                loss='categorical_crossentropy',
                metrics=['accuracy'])


train_images = train_images.reshape((60000,28*28))
train_images = train_images.astype('float32') / 255

test_images = test_images.reshape((10000, 28*28))
test_images = test_images.astype('float32') / 255

from tensorflow.keras.utils import to_categorical

train_labels = to_categorical(train_labels)
test_labels = to_categorical(test_labels)

network.fit(train_images,train_labels,epochs=20,batch_size=512,validation_split=0.2)
print(network.evaluate(test_images,test_labels))


#-DEMO-----------------------------------------------------------------
from PIL import Image
import PIL.ImageOps
import os

direccio = 'C:/Users/marcc/OneDrive/Escritorio'
os.chdir(direccio)

myImage = Image.open("Image.PNG").convert('L')
myImage = PIL.ImageOps.invert(myImage)
myImage = myImage.resize((28,28))
myImage.show()

#transforming my image into an array (THE PROBLEM MUST BE HERE)
import numpy as np
myImage_array = np.array(myImage)
myImage_array = myImage_array.reshape((28*28))
myImage_array = myImage_array.astype('float32') / 255
myImage_array=myImage_array.reshape(1,784)
print(myImage_array.shape)


print(network.predict(myImage_array))

直到 DEMO 的代码由 François Chollet 制作。我只做了最后一部分，就是我自己的形象的实现。

我用七的图像测试后得到的结果是：

[[6.9165975e-03 3.0256975e-03 4.9591944e-01 4.8350231e-03 5.6093242e-03
  8.6059235e-03 4.5295963e-01 8.3720963e-04 2.1008164e-02 2.8301307e-04]]

如你所见，结果真的很糟糕（第七位的概率应该最高）

如果我使用代码绘制 MNIST 的图像：

digit = train_images[4]
import matplotlib.pyplot as plt
plt.imshow(digit, cmap=plt.cm.binary)
plt.show()

看起来像： MNIST image of a 9

如果我对我的图像做同样的事情： My Image of a 7 (after being transformed to an array)

【问题讨论】：

这是从 Github 仓库中获取的吗？

No 第一部分取自 François Chollet 的 Python 深度学习一书。我把它放在这里是因为我认为比较他实现图像的方式和我的方式很有趣。

这样的问题很难调试，但希望您能在datascience.stackexchange.com 上找到比这里更多的帮助。

我不得不说我绘制了他的数据集的图像，并在矢量化后绘制了我的图像，两者看起来都一样。所以我不明白为什么它不起作用。

@Luke 谢谢！我不知道它存在

【参考方案1】：

您得到的结果是您的样本属于每个类别的概率分布。如果你看到结果

[[6.9165975e-03 3.0256975e-03 4.9591944e-01 4.8350231e-03 5.6093242e-03
8.6059235e-03 4.5295963e-01 8.3720963e-04 2.1008164e-02 2.8301307e-04]]

你看到你的样本有 10 个概率属于第一类（第 1 类）和第二类（第 2 类）等等

如果您仔细查看您的输出，您会发现最高概率位于第 7 位，因此模型将您的样本分类为数字 7

如果你希望你的输出是班级的编号，你可以尝试这样的事情

CATEGORIES = ["1","2","3","4","5","6","7","8","9","0"]

prediction = model.predict('your_sample')
max = (prediction.max(0))
result = (np.where(prediction == max))
print(CATEGORIES[result])

【讨论】：

我尝试了上面显示的训练图像的模型（它是9），结果是概率向量的最后一个位置是9.9999261e-01。这证明了概率向量将每个位置与数字 [0,1,2,3,4,5,6,7,8,9] 相关联。

我的意思是我理解给我的输出，但它不正确，因为给出的概率与预期不符。

模型评估准确率是多少？我在问这个模型是否可以轻松地对已知样本进行分类，但它不能对未知样本进行分类，可能存在过度拟合问题

结果为 [0.07581456750631332, 0.9804999828338623]。

如果你尝试其他数字而不是 7，结果如何？

【参考方案2】：

一切都很好，我遇到的问题是在我的区域 7 通常使用另一行编写（我真的认为它更扩展）。 因为我使用的是密集网络，它不会解释数字的形状，而是解释像素的排列，因此对数字的书写方式稍作修改可能会在这个简单的模型中产生非常糟糕的后果。

7 written normally

正如 Αpostolos-Valiakos 所说，我真的必须尝试不同的数字。但我真的认为这是我的图像如何转换为数组的问题。感谢大家的帮助