后记 6.1
关于目标检测的计算
https://stats.stackexchange.com/a/315216
训练Embedding的时候，程序里面发现了AUC，因此处正样本始终只有一个（参考上一篇）为了克服样本不平衡带来的metric指示出现不能反应模型真实能力的问题（比如acc中，模型很有可能偏向比重大的标签），需要AUC进行判别。以前试过几次，过段时间就忘了，希望这次理解深刻些。
关于理解
先附上链接:机器学习和统计里面的auc怎么理解？ - 小小丘的回答 - 知乎
提炼一下顿悟的地方，关键句：AUC: 在二分类问题中，从正样本集和负样本集中各自随机抽样一个样本\\(s^1、s^0\\)，用模型得到两个分类结果\\(y^0=model(s^0), y^1=model(s^1)\\), AUC被定义为 \\(y^1> y^0\\)的概率。
听起来可能还是有些绕，具体考虑一下该怎么求这个值就会清楚些。
首先构建样本对集合，每个样本对:\\(ss_{i,j}=(s^1_i,s^0_j), i\\in [0,M-1], j\\in [0,N-1]\\)，从这个集合里面抽样可以满足各自随机抽样的的要求。对样本对进行概率比较:\\(I_{i,j}=1~if~ y^1_i > y^0_j~else~ 0\\)，这样可以得到一个二值矩阵\\(I\\)。求这个矩阵的平均数，就是AUC。
这样之后，还可以进一步考虑一个例子。比如，现在有一个真钞和一个伪钞（已知一定有真假之分），用模型进行鉴别，如果模型的AUC指标好，我选择模型鉴定为真的钞票时（输出值更大那个）更自信。考虑一下自信从哪儿来的？
重新考虑一下矩阵\\(I\\)，已知每个样本对里面一定有一个正样本，所以最佳状态应该是每个元素都为1，即每个正样本的分数都排在负样本上方。如果分类的阈值能够自动调节到恰好包含所有正样本（区别于softmax里面的0.5固定值），那么AUC可以理解为当模型预测为正样本时的命中率，或者说被预测为正样本中正样本的纯度。(所以更自信...)
关于计算
上面矩阵的方法容易理解，但不易于计算\\(O(MN)\\)。实际计算时，通过排序可以降至\\(O((M+N)log(M+N))+O(M+N)\\)。参考上面知乎的解答。主要意思是排序后，每访问到一个正样本就可以确定有多少负样本位于下方。相当于，行遍历矩阵\\(I\\)时，每次都直接确定该行的元素和（\\(1\\)的数量）。附上一段计算程序
# mxnet/example/nce_loss/nce.py
# tmp:[(label, pred_score),...] 假定 [ (0,1), (1, 0.3), (0, 0.9), (1, 0.8),(0, 0.5) ]
tmp = sorted(tmp, key=itemgetter(1), reverse=True) # 排序后 [(0, 0.9), (1, 0.8), (0, .5), (1, 0.3), (0, 0.1)]
m = 0.0
n = 0.0
z = 0.0
k = 0
for a, _ in tmp:
if a > 0.5:
m += 1.0 # 全部过程中m的变化情况 [0, 1, 1, 2, 2] 最终值是正样本的个数
z += len(tmp) - k # 对正样本的位次累加 位次依次为 z_l=[4, 2] -> I.shape=(2,3), 每行的和:[4-m, 2-(m-1)] (m=2)
# 4-m: 后续样本（含改点）-其中正样本数量=该行1的数量
else:
n += 1.0
k += 1
z -= m * (m + 1.0) / 2.0 # [m, m-1, m-2, ... ] 求和
z /= m
z /= n
一句话总结，AUC: 正样本的纯度。