深度学习专业术语之英文介绍——附含历届ILSVRC冠亚军结果

Posted 非晚非晚

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了深度学习专业术语之英文介绍——附含历届ILSVRC冠亚军结果相关的知识,希望对你有一定的参考价值。

既然要研究深度学习这一门学科,外文的论文和资料阅读是必不可少的,下面就总结一些深度学习相关方面的专有英文,并做一些必要解释。

1. 深度学习常用中英文

英文中文解释说明
MNISTMNIST数据集可能是最常用的一个图像识别数据集。它包含 60,000 个手写数字的训练样本和 10,000 个测试样本。每一张图像的尺寸为 28×28像素。
ImageNetImageNet是一个超过15 million的图像数据集,大约有22,000类。
ILSVRC:ImageNet Large Scale Visual Recognition ChallengeImageNet 大型视觉识别挑战赛
ICML:International Conference for Machine Learning国际机器学习大会
Alexnet这种架构曾在 2012 年 ILSVRC 挑战赛中以巨大优势获胜,而且它还导致了人们对用于图像识别的卷积神经网络(CNN)的兴趣的复苏
VGGVGG 是在 2014 年 ImageNet 定位和分类比赛中分别斩获第一和第二位置的卷积神经网络模型。
GoogleLeNetGoogleLeNet 是曾赢得了 2014 年 ILSVRC 挑战赛的一种卷积神经网络架构
ResNet深度残差网络(Deep Residual Network)赢得了 2015 年的 ILSVRC 挑战赛。
DenseNet比ResNet更优的CNN模型
SENet最后一届ImageNet 2017竞赛分类任务的冠军
neural networks神经网络
neuron神经元
supervised learning监督学习
unsupervised learning无监督学习
feedforward neural network前馈神经网络
Backpropagation反向传播
NTM:Neural Turing Machine神经图灵机NTM 是可以从案例中推导简单算法的神经网络架构。比如,NTM 可以通过案例的输入和输出学习排序算法。
data augmentation数据增强翻转(Flip)、旋转(Rotation)、缩放比例(Scale)、裁剪(Crop)、移位(Translation)、高斯噪声(Gaussian Noise)等等方法
Recursive Neural Network递归神经网络递归神经网络是循环神经网络的树状结构的一种泛化(generalization)
CNN/ConvNet:Convolutional Neural Network卷积神经网络
RNN:Recurrent Neural Network循环神经网络
Bidirectional RNN双向循环神经网络双向循环神经网络是一类包含两个方向不同的 RNN 的神经网络
DBN:Deep Belief Network深度信念网络
RBN:Restricted Boltzmann Machine受限玻尔兹曼机RBN 是一种可被解释为一个随机人工神经网络的概率图形模型。RBN 以无监督的形式学习数据的表征。
MLP:Multilayer Perceptron多层感知器
Momentum动量动量是梯度下降算法(Gradient Descent Algorithm)的扩展,可以加速和阻抑参数更新。
Nonlinearity非线性
Max-Pooling最大池化
Average-Pooling平均池化
SigmoidSigmoid函数常被用作神经网络的激活函数,将变量映射到0,1之间。
ReLU线性修正单元(Rectified Linear Unit)
DropoutDropout 是一种用于神经网络防止过拟合的正则化技术
BN:Batch Normalization分批标准化分批标准化是一种按小批量的方式标准化层输入的技术
Attention Mechanism注意机制注意机制是由人类视觉注意所启发的,是一种关注图像中特定部分的能力。
RMSPropRMSProp 是一种基于梯度的优化算法
AdamAdam 是一种类似于 rmsprop 的自适应学习率算法
AdagradAdagrad 是一种自适应学习率算法,能够随时间跟踪平方梯度并自动适应每个参数的学习率。
AdadeltaAdadelta 是一个基于梯度下降的学习算法,可以随时间调整适应每个参数的学习率。
gradient descent梯度下降
SGD:Stochastic Gradient Descent随机梯度下降
conjugate gradient共轭梯度
least squares最小二乘法
SoftmaxSoftmax 函数通常被用于将原始分数(raw score)的矢量转换成用于分类的神经网络的输出层上的类概率(class probability)。
Vanishing Gradient Problem梯度消失问题解决这一问题的常用方法是使用 ReLU 这样的不受小梯度影响的激活函数,或使用明确针对消失梯度问题的架构,如LSTM。
word2vecword2vec 是一种试图通过预测文档中话语的上下文来学习词向量(word embedding)的算法和工具
NMT:Neural Machine Translation神经网络机器翻译
LSTM:Long Short-Term Memory长短期记忆网络通过使用内存门控机制防止循环神经网络(RNN)中的梯度消失问题
orthogonalization正交化
Activation Function激活函数最常用的函数包括 sigmoid、tanh、ReLU
additive noise加性噪声
autoencoder自编码器
derivative导函数
eigenvalue特征值
eigenvector特征向量
feature matrix特征矩阵
feature standardization特征标准化
error term残差
fine-tuned微调
local optima局部最优解
logistic regression逻辑回归
loss function损失函数
non-convex function非凸函数
non-linear feature非线性特征
norm范式
normalization归一化
object detection物体检测
objective function目标函数
under-fitting欠拟合
over-fitting过拟合
pretrain预训练
redundant冗余
regularization正则化
regularization term正则化项
rescaling缩放
robust鲁棒性
singular value奇异值
mean and variance均值和方差
squared-error方差
the rate of convergence收敛速度
translation invariant平移不变性
weight decay权重衰减
whitening白化
sparsity parameter稀疏性参数
RPN, region proposal network区域生成网络

2. 历届ILSVRC部分冠亚军结果

  • ImageNet介绍

ImageNet是一个超过15 million的图像数据集,大约有22,000类。

ImageNet是由李飞飞团队从2007年开始,耗费大量人力,通过各种方式(网络抓取,人工标注,亚马逊众包平台)收集制作而成,它作为论文在CVPR-2009发布。当时人们还很怀疑通过更多数据就能改进算法的看法。

深度学习发展起来有几个关键的因素,一个就是庞大的数据(比如说ImageNet),一个是GPU的出现。(还有更优的深度模型,更好的优化算法,可以说数据和GPU推动了这些的产生,这些产生继续推动深度学习的发展)。

  • ILSVRC冠亚军
网络/队名val top-1val top-5test top-5备注
2012AlexNet38.1%16.4%16.42%5 CNNs
2012AlexNet36.7%15.4%15.32%7CNNs。用了2011年的数据
2013OverFeat14.18%7 fast models
2013OverFeat13.6%赛后。7 big models
2013ZFNet13.51%ZFNet论文上的结果是14.8
2013Clarifai11.74%
2013Clarifai11.20%用了2011年的数据
2014VGG7.32%7 nets, dense eval
2014VGG(亚军)23.7%6.8%6.8%赛后。2 nets
2014GoogleNet v16.67%7 nets, 144 crops
-GoogleNet v220.1%4.9%4.82%赛后。6 nets, 144 crops
-GoogleNet v317.2%3.58%赛后。4 nets, 144 crops
-GoogleNet v416.5%3.1%3.08%赛后。v4+Inception-Res-v2
2015ResNet3.57%6 models
2016Trimps-Soushen2.99%公安三所
2016ResNeXt(亚军)3.03%加州大学圣地亚哥分校
2017SENet2.25%Momenta 与牛津大学

评价标准:top1是指概率向量中最大的作为预测结果,若分类正确,则为正确;top5则只要概率向量中最大的前五名里有分类正确的,则为正确

以上是关于深度学习专业术语之英文介绍——附含历届ILSVRC冠亚军结果的主要内容,如果未能解决你的问题,请参考以下文章

深度学习理论篇之 ( 十八) -- 注意力机制之SENet

Imagenet与ILSVRC数据集介绍

历史最全机器学习/深度学习/人工智能专业术语表中英对照表

云计算之OpenStack入门专业术语解释

深度学习全家福

图像识别 ImageNet 比赛 历届冠军评析:看看哪个深度学习模型最适合你?