Local Sensitivity 局部敏感度

Posted 2021-12-03 myjs999

记$\vec{x}$为一批的输入数据，是一个$n\times c_x$的矩阵，$n$是批大小，$c_x$是每条输入数据的维数。
记除去输入层、误差层以外的层数为$L$。这$L$层的每一层的输出记为${\vec{y}}_l(l=1,\cdots ,L)$，输入是$\vec{x}(l=1)$或${\vec{y}}_{l-1}(l>1)$，记为${\vec{x}}_l$。误差层的输入是${\vec{y}}_L$。层参数的下标自然就是$l$。注意，如果误差计算采用交叉熵误差，那么认为软极函数计算即为第$L$层；如果是欧氏距离误差（MSE）则按前述规则理解。由于MSE事实上需要第$L$层为一个激活函数层，因此可以认为这么做具有实践意义。
记$l$层的局部敏感度为$${\vec{\delta }}_l=\frac{\partial E}{\partial {\vec{y}}_l}$$也就是误差对这一层输出的偏导数。因此，${\vec{\delta }}_L$就是误差层输出（也就是误差）对输入的偏导数。
众所周知，我们需要计算$E$对每一层参数的梯度。对于线性层，$\frac{\partial E}{\partial {\vec{W}}_l}={\vec{\delta }}_l\frac{\partial {\vec{y}}_l}{\partial {\vec{W}}_l}={\vec{\delta }}_l{\vec{x}}_l$。其中的乘法是矩阵乘法。假设${\vec{W}}_l$是$c_{x_l}\times c_{y_l}$的，${\vec{\delta }}_l$和${\vec{y}}_l$是$n\times c_{y_l}$的，那么上面那个矩阵乘法正确表述应该是${\vec{x}}_l^T{\vec{\delta }}_l$。而 ∂ E ∂ b ⃗ l = δ ⃗ l ∂ y ⃗ l ∂ b ⃗ l = δ ⃗ l \\frac{\\partial E}{\\partial \\vec b_l}=\\vec\\delta_l\\frac{\\partial\\vec y_l}{\\partial \\vec b_l}=\\vec\\delta_l ∂b l​∂E​=δAUC 评价指标详解，准确率（ACC），敏感性（sensitivity），特异性（specificity）计算 Python3TensorFlow2入门手册

全局敏感度，局部敏感度和平滑敏感度到底有什么区别？差分隐私

局部敏感哈希算法

局部敏感哈希(Locality-Sensitive Hashing, LSH)

MySQL 中 Identifier Case Sensitivity

LSH（局部敏感哈希）算法