众包中关于DS模型及其扩展设定总结

Posted 2020-11-02 gelthin2017

1.只能处理同质任务(任务难度不同) 仍只刻画了工人质量，没有刻画任务难度。

D.S. 原文 工人的质量是有一个隐混淆矩阵确定的，此矩阵定义了在确定了正确的标记的条件下工人回复任一可能标记的概率。 工人 k 在 j 为正确标记下回复 l 的概率。

D-S 模型 (一元模型)，工人有(多个)质量参数 p，p 即为工人目前的准确率。

二元模型 sensitivity 和 specificity 分别对应于工人对正负类的正确性

来自 Learning from crowd
Variational Inference for crowdsourcing 用了一元model，方法是 建立 工人能力q 与true label z 的联合概率分布。 也提到了此二元model

2.处理异质任务(不同任务对同一工人难度不同)

generalization of the D-S model
主要看论文 Achieving Budget-optimality with Adaptive Schemes 此文说是参考了周登勇的论文 Regularized minimax ，很是奇怪.

p quality of worker (刻画工人是否会如实表达自己的观点) 0 表达自己反向的观点 1/2 随机表达 1 如实表达
q difficulty of task (刻画工人认为task 的标记是 1的概率)

the response confuse matrix A_{i,j}=1 with probability q_i*p_j+(1-q_i)*(1-p_j)

定义: task 的 ground truth 为（假想的）全体工人的多数投票

还有论文 【9】【18】【22】【15】
whose vote should count more
The multidimensional wisdom of crowds
Regularized minimax
A permutation-based model for crowd labeling

另外，Making better use of .... 介绍了两到三篇论文全面处理了 D_S 模型及其衍生的各种模型