Matrix Capsule with EM Routing
2018-02-02 21:21:09
【Abstract】
一个 capsule 是一组神经元,其输出代表了同一个实例的不同属性。capsule network 的每层包括多个 capsule。我们一种 capsule,每个 capsule 拥有一个逻辑单元来表示一个实例是否出现,以及一个 4*4 的矩阵来学习表示实例和视角(姿态)之间的关系。一个 layer 的 capsule 投票给 该 layer 之上的许多不同的 capsules 的 pose matrix,通过用 可训练的视角不变的转换矩阵(trainable viewpoint-invariant transformation matrices)乘以 自身的 pose matrix,来学习表示部分和整体之间的关系(to represent part-whole relationships)。每一个这样子的投票都会被给予一个系数进行加权(each of these votes is weighted by an assignment coefficient)。这些系数可以 用 期望最大化算法(the Expectation-Maximization algorithm)来迭代的进行更新,such that the output of each capsule is routed to a capsule in the layer above that receives a cluster of similar votes。转换矩阵是通过 BP 算法进行更新的,through the unrolled iterations of EM between each pair of adjacent capsule layers. 在 smallNORB data 上,capsule 降低了测试误差,并且也显示了对对抗攻击(adversarial attack)的更好的抵抗能力。
【Introduction】