深度学习专业术语之英文介绍——附含历届ILSVRC冠亚军结果
Posted 非晚非晚
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了深度学习专业术语之英文介绍——附含历届ILSVRC冠亚军结果相关的知识,希望对你有一定的参考价值。
既然要研究深度学习这一门学科,外文的论文和资料阅读是必不可少的,下面就总结一些深度学习相关方面的专有英文,并做一些必要解释。
1. 深度学习常用中英文
英文 | 中文解释 | 说明 |
---|---|---|
MNIST | MNIST数据集可能是最常用的一个图像识别数据集。它包含 60,000 个手写数字的训练样本和 10,000 个测试样本。每一张图像的尺寸为 28×28像素。 | |
ImageNet | ImageNet是一个超过15 million的图像数据集,大约有22,000类。 | |
ILSVRC :ImageNet Large Scale Visual Recognition Challenge | ImageNet 大型视觉识别挑战赛 | |
ICML:International Conference for Machine Learning | 国际机器学习大会 | |
Alexnet | 这种架构曾在 2012 年 ILSVRC 挑战赛中以巨大优势获胜,而且它还导致了人们对用于图像识别的卷积神经网络(CNN)的兴趣的复苏 | |
VGG | VGG 是在 2014 年 ImageNet 定位和分类比赛中分别斩获第一和第二位置的卷积神经网络模型。 | |
GoogleLeNet | GoogleLeNet 是曾赢得了 2014 年 ILSVRC 挑战赛的一种卷积神经网络架构 | |
ResNet | 深度残差网络(Deep Residual Network)赢得了 2015 年的 ILSVRC 挑战赛。 | |
DenseNet | 比ResNet更优的CNN模型 | |
SENet | 最后一届ImageNet 2017竞赛分类任务的冠军 | |
neural networks | 神经网络 | |
neuron | 神经元 | |
supervised learning | 监督学习 | |
unsupervised learning | 无监督学习 | |
feedforward neural network | 前馈神经网络 | |
Backpropagation | 反向传播 | |
NTM:Neural Turing Machine | 神经图灵机 | NTM 是可以从案例中推导简单算法的神经网络架构。比如,NTM 可以通过案例的输入和输出学习排序算法。 |
data augmentation | 数据增强 | 翻转(Flip)、旋转(Rotation)、缩放比例(Scale)、裁剪(Crop)、移位(Translation)、高斯噪声(Gaussian Noise)等等方法 |
Recursive Neural Network | 递归神经网络 | 递归神经网络是循环神经网络的树状结构的一种泛化(generalization) |
CNN/ConvNet:Convolutional Neural Network | 卷积神经网络 | |
RNN:Recurrent Neural Network | 循环神经网络 | |
Bidirectional RNN | 双向循环神经网络 | 双向循环神经网络是一类包含两个方向不同的 RNN 的神经网络 |
DBN:Deep Belief Network | 深度信念网络 | |
RBN:Restricted Boltzmann Machine | 受限玻尔兹曼机 | RBN 是一种可被解释为一个随机人工神经网络的概率图形模型。RBN 以无监督的形式学习数据的表征。 |
MLP:Multilayer Perceptron | 多层感知器 | |
Momentum | 动量 | 动量是梯度下降算法(Gradient Descent Algorithm)的扩展,可以加速和阻抑参数更新。 |
Nonlinearity | 非线性 | |
Max-Pooling | 最大池化 | |
Average-Pooling | 平均池化 | |
Sigmoid | Sigmoid函数常被用作神经网络的激活函数,将变量映射到0,1之间。 | |
ReLU | 线性修正单元(Rectified Linear Unit) | |
Dropout | Dropout 是一种用于神经网络防止过拟合的正则化技术 | |
BN:Batch Normalization | 分批标准化 | 分批标准化是一种按小批量的方式标准化层输入的技术 |
Attention Mechanism | 注意机制 | 注意机制是由人类视觉注意所启发的,是一种关注图像中特定部分的能力。 |
RMSProp | RMSProp 是一种基于梯度的优化算法 | |
Adam | Adam 是一种类似于 rmsprop 的自适应学习率算法 | |
Adagrad | Adagrad 是一种自适应学习率算法,能够随时间跟踪平方梯度并自动适应每个参数的学习率。 | |
Adadelta | Adadelta 是一个基于梯度下降的学习算法,可以随时间调整适应每个参数的学习率。 | |
gradient descent | 梯度下降 | |
SGD:Stochastic Gradient Descent | 随机梯度下降 | |
conjugate gradient | 共轭梯度 | |
least squares | 最小二乘法 | |
Softmax | Softmax 函数通常被用于将原始分数(raw score)的矢量转换成用于分类的神经网络的输出层上的类概率(class probability)。 | |
Vanishing Gradient Problem | 梯度消失问题 | 解决这一问题的常用方法是使用 ReLU 这样的不受小梯度影响的激活函数,或使用明确针对消失梯度问题的架构,如LSTM。 |
word2vec | word2vec 是一种试图通过预测文档中话语的上下文来学习词向量(word embedding)的算法和工具 | |
NMT:Neural Machine Translation | 神经网络机器翻译 | |
LSTM:Long Short-Term Memory | 长短期记忆 | 网络通过使用内存门控机制防止循环神经网络(RNN)中的梯度消失问题 |
orthogonalization | 正交化 | |
Activation Function | 激活函数 | 最常用的函数包括 sigmoid、tanh、ReLU |
additive noise | 加性噪声 | |
autoencoder | 自编码器 | |
derivative | 导函数 | |
eigenvalue | 特征值 | |
eigenvector | 特征向量 | |
feature matrix | 特征矩阵 | |
feature standardization | 特征标准化 | |
error term | 残差 | |
fine-tuned | 微调 | |
local optima | 局部最优解 | |
logistic regression | 逻辑回归 | |
loss function | 损失函数 | |
non-convex function | 非凸函数 | |
non-linear feature | 非线性特征 | |
norm | 范式 | |
normalization | 归一化 | |
object detection | 物体检测 | |
objective function | 目标函数 | |
under-fitting | 欠拟合 | |
over-fitting | 过拟合 | |
pretrain | 预训练 | |
redundant | 冗余 | |
regularization | 正则化 | |
regularization term | 正则化项 | |
rescaling | 缩放 | |
robust | 鲁棒性 | |
singular value | 奇异值 | |
mean and variance | 均值和方差 | |
squared-error | 方差 | |
the rate of convergence | 收敛速度 | |
translation invariant | 平移不变性 | |
weight decay | 权重衰减 | |
whitening | 白化 | |
sparsity parameter | 稀疏性参数 | |
RPN, region proposal network | 区域生成网络 |
2. 历届ILSVRC部分冠亚军结果
- ImageNet介绍
ImageNet是一个超过15 million的图像数据集,大约有22,000类。
ImageNet是由李飞飞团队从2007年开始,耗费大量人力,通过各种方式(网络抓取,人工标注,亚马逊众包平台)收集制作而成,它作为论文在CVPR-2009发布。当时人们还很怀疑通过更多数据就能改进算法的看法。
深度学习发展起来有几个关键的因素,一个就是庞大的数据(比如说ImageNet),一个是GPU的出现
。(还有更优的深度模型,更好的优化算法,可以说数据和GPU推动了这些的产生,这些产生继续推动深度学习的发展)。
- ILSVRC冠亚军
年 | 网络/队名 | val top-1 | val top-5 | test top-5 | 备注 |
---|---|---|---|---|---|
2012 | AlexNet | 38.1% | 16.4% | 16.42% | 5 CNNs |
2012 | AlexNet | 36.7% | 15.4% | 15.32% | 7CNNs。用了2011年的数据 |
2013 | OverFeat | 14.18% | 7 fast models | ||
2013 | OverFeat | 13.6% | 赛后。7 big models | ||
2013 | ZFNet | 13.51% | ZFNet论文上的结果是14.8 | ||
2013 | Clarifai | 11.74% | |||
2013 | Clarifai | 11.20% | 用了2011年的数据 | ||
2014 | VGG | 7.32% | 7 nets, dense eval | ||
2014 | VGG(亚军) | 23.7% | 6.8% | 6.8% | 赛后。2 nets |
2014 | GoogleNet v1 | 6.67% | 7 nets, 144 crops | ||
- | GoogleNet v2 | 20.1% | 4.9% | 4.82% | 赛后。6 nets, 144 crops |
- | GoogleNet v3 | 17.2% | 3.58% | 赛后。4 nets, 144 crops | |
- | GoogleNet v4 | 16.5% | 3.1% | 3.08% | 赛后。v4+Inception-Res-v2 |
2015 | ResNet | 3.57% | 6 models | ||
2016 | Trimps-Soushen | 2.99% | 公安三所 | ||
2016 | ResNeXt(亚军) | 3.03% | 加州大学圣地亚哥分校 | ||
2017 | SENet | 2.25% | Momenta 与牛津大学 |
评价标准:top1是指概率向量中最大的作为预测结果,若分类正确,则为正确;top5则只要概率向量中最大的前五名里有分类正确的,则为正确
。
以上是关于深度学习专业术语之英文介绍——附含历届ILSVRC冠亚军结果的主要内容,如果未能解决你的问题,请参考以下文章