论文笔记Matrix Capsule with EM Routing

Posted The Blog of Xiao Wang

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了论文笔记Matrix Capsule with EM Routing相关的知识,希望对你有一定的参考价值。

Matrix Capsule with EM Routing 

2018-02-02  21:21:09 

Abstract

  一个 capsule 是一组神经元,其输出代表了同一个实例的不同属性。capsule network 的每层包括多个 capsule。我们一种 capsule,每个 capsule 拥有一个逻辑单元来表示一个实例是否出现,以及一个 4*4 的矩阵来学习表示实例和视角(姿态)之间的关系。一个 layer 的 capsule 投票给 该 layer 之上的许多不同的 capsules 的 pose matrix,通过用 可训练的视角不变的转换矩阵(trainable viewpoint-invariant transformation matrices)乘以 自身的 pose matrix,来学习表示部分和整体之间的关系(to represent part-whole relationships)。每一个这样子的投票都会被给予一个系数进行加权(each of these votes is weighted by an assignment coefficient)。这些系数可以 用 期望最大化算法(the Expectation-Maximization algorithm)来迭代的进行更新,such that the output of each capsule is routed to a capsule in the layer above that receives a cluster of similar votes。转换矩阵是通过 BP 算法进行更新的,through the unrolled iterations of EM between each pair of adjacent capsule layers. 在 smallNORB data 上,capsule 降低了测试误差,并且也显示了对对抗攻击(adversarial attack)的更好的抵抗能力。

 

【Introduction】

以上是关于论文笔记Matrix Capsule with EM Routing的主要内容,如果未能解决你的问题,请参考以下文章

论文阅读笔记:Multi-Labeled Relation Extraction with Attentive Capsule Network(AAAI-2019)

论文笔记:HKMF-T: Recover From Blackouts in TaggedTime Series With Hankel Matrix Factorization

论文笔记­­:Sparse Matrix Format Selection with Multiclass SVM for SpMV on GPU

胶囊网络(Capsule)学习笔记

胶囊网络(Capsule)学习笔记

论文解读:(TranSparse)Knowledge Graph Completion with Adaptive Sparse Transfer Matrix