imagenet100多大

Posted 2023-04-25

ImageNet100是一个由100个类别组成的大型图像数据集，每个类别包含超过500张图像，总计超过50000张图像。它的图像大小为224x224像素，每张图像的文件大小约为1MB左右。 参考技术A imagenet100多大为了获得更高的精度，深卷积神经网络（CNN）通常具有复杂的设计，具有许多卷积层和可学习的参数。为了减轻在移动设备上部署网络的成本，最近的工作开始研究在预定义的结构中挖掘冗余的模块和参数。然而，目前CNN的输入分辨率冗余尚未得到充分研究。在本文中，作者观察到，使用相同的神经网络，精确预测不同图像的最小分辨率是不同的 。

为此，作者提出了一种新的动态分辨率网络（DRNet），其中分辨率是根据每个输入样本动态确定的 。基于此，作者提出了一个具有可忽略计算成本的分辨率预测器，并与分类网络一起进行了优化。在实现上，预测器学习的最小分辨率可以保持甚至超过每个图像原始识别精度。在推断过程中，每个输入图像将调整到其预测的分辨率，以最小化总体计算负担。

然后，作者在几个基准网络和数据集上进行了广泛的实验。结果表明，本文的DRNet可以嵌入任何现成的网络结构中，从而大大降低计算复杂度。例如，与ImageNet上的原始ResNet-50相比，DRNet在计算量减少约34%的情况下实现了类似的性能，而在计算量减少10%的情况下，DRNet的精度提高了1.4%。

1. 论文和代码地址

Dynamic Resolution Network

论文地址：https://arxiv.org/abs/2106.02898

代码地址：未开源

2. Motivation
在算法、计算能力和大规模数据集的发展下，深卷积神经网络（CNN）在各种计算机视觉任务中取得了显著的成功。然而，卓越的性能伴随着巨大的计算成本，这使得CNN难以部署在移动设备上。随着实际应用对CNN的需求不断增加，降低计算成本，同时保持神经网络的性能势在必行。

最近，研究人员致力于研究模型压缩和加速方法，包括网络剪枝、低比特量化、知识蒸馏和轻量级网络设计。网络剪枝 旨在通过一定的标准剪枝对模型性能不敏感的滤波器进行剪枝；低比特量化 指用低比特值来量化权重参数和激活值；知识蒸馏 将教师模型学习到的知识转移到学生模型从而来提高性能；轻量级网络设计 通过设计一些轻量级操作（如depth-wise convolution）来构建新的网络。 参考技术B Imagenet100是一个大型的视觉识别数据集，其中包含超过1000万张不同类别的图片。整个Imagenet100数据集总大小为约145GB，其中包括超过125M的图片文件和7M的标签文件。 参考技术C ImageNet100是一个大型图像数据库，它拥有超过100万张图像，涵盖1000个不同的类别。它是由英特尔和Princeton大学的计算机视觉研究小组共同创建的，旨在帮助计算机视觉研究人员进行机器学习研究。ImageNet100的图像来自于ImageNet，这是一个由超过1400万张图像组成的大型图像数据库，涵盖了超过22000个不同的类别。ImageNet100是ImageNet的一个子集，它只包含100个类别，每个类别都包含1000张图像。ImageNet100的图像都是从ImageNet中挑选出来的，它们都是高质量的，并且都是从不同的地方拍摄的。ImageNet100的图像被广泛用于机器学习研究，它可以帮助研究人员更好地理解计算机视觉的概念。 参考技术D imagenet100多大
答案如下：ImageNet数据集是一个计算机视觉数据集，是由斯坦福大学的李飞飞教授带领创建。该数据集包合 14,197,122张图片和21,841个Synset索引。

ImageNet 数据集图像未正确加载

【中文标题】ImageNet 数据集图像未正确加载

【英文标题】：ImageNet dataset images not loading properly

【发布时间】：2021-07-01 01:03:51

【问题描述】：

我发现我们现在无法直接从 Pytorch 下载 ImageNet 数据集。我收到此错误：

RuntimeError: The dataset is no longer publicly accessible. You need to download the archives externally and place them in the root directory.

所以我去网站下载了32X32 图像（为什么下载这么慢？）。所以它分批下载了训练数据，当我加载其中一个并查看图像的样子时，我得到了这个：

这是我加载图像的方式：

file_1 = np.load("imagenet/Imagenet32_train_npz/train_data_batch_1.npz")
img = file_1['data'][0]
img = np.reshape(img, (32,32,3))
plt.imshow(img)
plt.show()

是我做错了什么还是 ImageNet 只是改变了？告诉我。

【参考方案1】：

我也遇到过同样的问题，我知道 imagenet 数据首先是通道，这意味着与其将其重新整形为 (32, 32, 3)，不如将其重新整形为 (3, 32, 32) 然后转置它完整的代码如下所示：

file_1 = np.load("yourpath" , allow_pickle=True)
images = file_1["data"].reshape(-1  , 3 , 32 , 32)
images = images.transpose(0 , -2 , -1 , 1)