文献阅读01期：LMNN

Posted 2021-06-18 RaZLeon

[ 文献阅读 ] 今日好文Outline：20210522 - LMNN

所读文献：Weinberger K Q, 2009, Distance Metric Learning for Large Margin Nearest Neighbor Classification [1]

1.摘要&简介

• 针对KNN算法，将常用的欧式距离替换为马氏距离（Mahanalobis distance），提出新的目标函数，在MNIST数据集上进行测试，并将其命名为LMNN。

• 对比SVM，无需进行特别处理，便可进行多分类学习，且LMNN的训练时间长短和类别数量并无太大关联（SVM的训练时间会随着Classes的增长，呈现出线性增长态势，多种扩展算法亦是如此。）

2.算法模型（Model）

2.1.线性变换

1. n个labeled样本，训练集表达： { ( x → i , y i ) } i = 1 n \\{(\\overrightarrow{x}_i,y_i)\\}^n_{i=1} {(x i​,yi​)}i=1n​，其中样本输入为$x_i\in {\mathcal{R}}^d$，预先标定标签为$y_i$.
2. Binary指示器： y i j ∈ { 0 , 1 } y_{ij}\\in\\{0,1\\} yij​∈{0,1}，用于表示$y_i$与$y_j$match与否。
3. 目标：学习线性变换：$\mathrm{L}:{\mathcal{R}}^d\to {\mathcal{R}}^d$并用来计算平方距离：
   $$\mathcal{D}({\overrightarrow{x}}_i,{\overrightarrow{x}}_j)={\Vert \mathrm{L}({\overrightarrow{x}}_i-{\overrightarrow{x}}_j)\Vert }^2\text{\hspace{1em}(1)}$$

2.2.目标近邻（Target neighbors）

• 目标近邻定义：对于每个输入${\overrightarrow{x}}_j$我们需要找寻k个有同样标签（$y_i$）的目标近邻，并使得式(1)计算出的距离最小化。
• 在缺失先验知识的情况下，我们只能通过欧式距离，在有同样标签（$y_i$）的近邻中搜索。
• η i j ∈ { 0 , 1 } \\eta_{i j} \\in\\{0,1\\} ηij​∈{0,1}表示${\overrightarrow{x}}_j$是${\overrightarrow{x}}_i$的目标近邻。
• 需要注意的是：$y_{i}j$和${\eta }_{ij}$在学习过程中不会改变。

2.3.目标函数

• 本文目标函数分为两种惩罚：惩罚1 - 输入和目标近邻距离惩罚；惩罚2 - 具有不同Label的样本间，若距离过近，也将遭到惩罚，公式如下：
  $$\epsilon (\mathbf{L})=\sum _{ij}{\eta }_{ij}{\Vert \mathbf{L}\left({\vec{x}}_i-{\vec{x}}_j\right)\Vert }^2+c\sum _{ijl}{\eta }_{ij}\left(1-y_{il}\right){\left[1+{\Vert \mathbf{L}\left({\vec{x}}_i-{\vec{x}}_j\right)\Vert }^2-{\Vert \mathbf{L}\left({\vec{x}}_i-{\vec{x}}_l\right)\Vert }^2\right]}_{+}\text{\hspace{1em}(以上是关于文献阅读01期：LMNN的主要内容，如果未能解决你的问题，请参考以下文章 文献阅读20期：Transformer Transforms Salient Object Detection and Camouflaged Object Detection 文献阅读20期：Transformer Transforms Salient Object Detection and Camouflaged Object Detection 文献阅读20期：Transformer Transforms Salient Object Detection and Camouflaged Object Detection 文献阅读04期：神经网络解释 - GRACE 文献阅读04期：神经网络解释 - GRACE 文献阅读06期：基于Logistic效用函数智能电网定价}$$