更新囚生CYの备忘录（20230216~）

Posted 2023-03-04 囚生CY

序言

阳历生日。今年因为年过得早的缘故，很多事情都相对提前了（比如情人节）。往年过生日的时候基本都还在家，所以一家子出去吃个饭也就罢了。今年承蒙凯爹厚爱，正好也有小半年没聚，他前天也刚正式拿到offer，于是狠狠地宰了他一顿哈哈（srds下个月他过生日还得还回去）。

难得跟人一逛老半天，从乳山四村到正大广场，吃完饭再回来，一路上交换见解与心得，从九点多一直到晚上六点多才走，凯爹的阅历让我受益颇多。我其实很羡慕凯爹这样的人，每一个能从二战走出来的都是勇士中的勇士，就是那种生活很有激情，并且目标明确，矢志不渝，这两个词我觉得是越来越难能可贵。

回来这些天除了泡实验室，每天还是至少会去遛五圈，前天浅浅地跑了5000米，其实也不是很吃力。说起来差不多停跑了有十天，相当致命，不过我发现因为这么多年来屡屡从低谷恢复训练，身体已经习惯了这种节奏，至少今年开始恢复的时候跑起来还是挺轻快的，虽然耐力明显很差，但也没有那么笨重。

其实心底一直有这样一个心结，到底

---

20230216

因果推断之遐想，今年NSFC的通告里着重强调了这个方向，严格上来说这是一个统计学范畴，但是他越来越受到ML以及DM领域的关注，原因在于数据中难免存在难以捕获的偏见。

最近一篇非常好的CasualLM: Causual Model Explanation Through Counterfactual Language Models，提出了一种基于反事实构造的反事实语言模型，可以修整数据中固有的偏见。

但是现阶段因果推断和NLP的结合的工作大多是基于现有的因果图做检验会调整，其实有一个很关键的核心问题是如何捕获混杂因子（在没有因果图的情况下），一些工作会介绍如何从复合变量中分离得到混杂变量以及调整变量，如http://www.meng-jiang.com/pubs/tee-aaai17/tee-aaai17-paper.pdf与https://arxiv.org/abs/arXiv:2006.07040，但是这些工作也是建立在因果图已知，候选的变量已经给定的前提下得到的，一般的情况是只给你上下文语料，如何判断一个基于该语料的任务存在混杂因子。

其实在预训练数据是足够充分的条件下，我们应当认可模型预测的结果是无偏的。问题在于预训练数据总是不够充分的，所以我们需要构造反事实来使得它更为均衡。还有就是Pearl的因果推断理论框架是完全建立在因果图之上的，问题在于没有任何理论保证因果图的有效性，这在因果推断与NLP结合时确实是令人费解的事情，这就有点射箭画靶的意思，为了论证存在混杂，特意构建了一个能够导出混杂的因果图。