Multiple Testing | 多重假设检验 | FDR

Posted 2020-12-18 wanggy

RNA-seq数据分析中，为了鉴定两个group 差异表达的基因，会针对每一个基因分别做假设检验（例如T-test），这里会出来一个P-value，但是往往R中专门做差异表达的package，还会有Adjusted-P 这么一个P-value。或者我们经常会碰到FDR这个概念。这些说的都是Multiple Testing。

1. 首先当我们要针对多个特征（例如基因）做假设检验时，由于每次检验都有一定几率会发生第一类错误（Type I errors/false positives），所以每进行一次假设检验，就会降低整体(所有假设检验)的结果的可信度，随着检验次数的增加，至少出现一次错误的可能性也在增加。这里用抛不同硬币的例子很形象，这个案例也很好。

2. 所以就要对P-value进行调整（上调），以减小整体的FDR。比较温和的方法是Holm-Bonferroni。见下图。

3. 那么如何在python中做multiple testing呢

首先要对自己的数据每一个feature做testing (T-test/ Wilkson 等)，然后再用statsmodels 中的multipletests方法，详见该链接。