机器学习------结构因果机制（SCM）因果关系因果推断

Posted 2021-09-23 小葵花幼儿园园长

结构因果机制

• 1. 为什么研究因果关系
• • 机器学习中用到的因果推论
• 2. 因果研究发展
• • 2.1 因果科学
  • 2.2 统计中的因果推断
  • 2.3 因果效益估计框架
• 3. 因果推断
• • 3.1 因果推断--uplift model（智能营销增益模型）
• . 因果推断书籍
• • book1: Causal Inference: What If[2020]
  • • 简介
  • book2: Causal Inference: THE MIXTAPE(V.1.7)[2018]
  • • 简介
  • book3: Advanced Data Analysis from an Elementary Point of View [2017]
  • book4: Elements of Causal Inference Foundations and Learning Algorithms[2017]
  • • 简介
    • 一些用到因果关系的论文

1. 为什么研究因果关系

参考：因果关系的必要性

机器学习基本上可以算是统计机器学习问题，也就是通过大量的数据学习到一些隐藏的patterns，从而得到数据与数据之前的相关关系，进而进行目标检测、追踪、知识问答等处理。很自然的一个问题就是，既然机器学习当前主流是以统计规律得到的相关关系为主，那么我们为什么要研究因果关系呢？
Yule-Simpson’s Paradox (辛普森悖论)：

• 变量X和Y在边缘上存在正相关，但是给定另外变量Z，在Z的每一个水平上，X和Y都存在负相关。
• 举例来说，某实验对人进行处理，整体来看，对人的存活率有所提升，但是将人细分男、女，却发现该处理最后的存活率均是下降。

事实表明，统计规律有时并不那么靠谱，我们需要建立起数据之间的因果联系，这也是因果推理在机器学习中存在的价值。

机器学习中用到的因果推论

1. 模型可解释性 (判断模型对因果的判断与哪些因素相关）
2. 迁移学习：不同任务的迁移能力提升。如何在无监督下学到领域无关的一致性表征
3. 模型歧视问题：歧视少数族或女性。模型可以自己回答反事实的问题，判断决策公平性
4. 学习速度提升与样本需求减少：类似主动学习（人类是优秀的小样本学习器，靠观察和想象）；目前的机器学习模式类似达尔文进化论的发展历程（长颈鹿花了几百万年进化出了这么长的脖子），是一个非常耗时，低效的学习过程。
5. 强AI。传统机器学习模式，是无法发展出人类的超进化论（发展出奢侈品，网红店，物联网等等）这种智能产物。

2. 因果研究发展

知乎参考

人类在探索整个宇宙和动物行为的过程，其思维的变迁经历了漫长的过程，且因果观念的逻辑分析自科学诞生之日，就没中断过。

• 因果中的必要因（若非因[but for]），为后来因果推理提供强大工具（反事实推理）。
• 贝叶斯提出的逆概率定理，认为概率现象也是主观信念程度的变化和更新，让概率也失去了客观性
• 统计学创始人高尔顿和学生皮尔逊用相关关系取代了因果关系。
• Judea Pearl研究中发现统计相关性并不能取代因果性(Yule-Simpson Paradox【x与y边缘正相关，在某个变量z的每一水平上负相关】)，无法处理具有共同混杂因子的变量关系，统计数据常因果颠倒（无方向性），造就伪相关，对数据要求也很高(iid)，泛化性，鲁棒性都很差。

2.1 因果科学

因果科学是研究因果关系或回答因果问题的学科。现代因果定义为在保证其他因素不变，改变X引起Y的改变，则X为Y的一个原因。

简单从历史上看，因果研究一般分为3类

1. 物理学定义因果（最清晰定义的因果）
   • 物理系统演化动力学，基于时间讨论因果
2. 哲学定义因果
   • Type Causality：某原因导致什么结果，由因推果，干预主义思想（因果效应定义），用来帮助预测
   • Actual Causality：关注事物发生的原因，由果推因，与反事实思维相关。【反事实：主要是研究“若非(but for)”，“若非“过去A事件发生，结果事件B可能不发生，常用于因果检测。】

2.2 统计中的因果推断

从现实数据中提取出某些变量间的因果关系

Judea Pearl的因果信息革命提出的因果关系之梯，根据因果问题的可答性，对比了目前的机器学习(深度学习)和因果推断区别。

把任务分为递进的3类:

1. association（what is）------关联（是什么）
2. intervention（what if）------干预（如果是什么）
3. counterfactuals（retrospection）------反事实（回顾）。

传统机器学习（关联层）是在问你what is?，即给定属性，问你是什么的概率；

第二层（干预层）是在问what if？即，如果我对你做了什么，你会怎么样？

终极（反事实层）的当然是回答哲学反事实问题，如果我当时那样做了，会怎么样？(唱："想回到过去，试着让故事继续“）

关联和干预区别就是seeing和doing的区别，pearl发明了do算子，既p(y|x) != p(y|do(x))；反事实层是回答“若非“的问题，要求将现实世界与未发生某行为的反事实世界进行比较（假如当时我没那么做，导致这样的结果概率是什么？）。这里层层递进，高层可以回答低层的问题，反之则不行，因为不具备充足的信息。

2.3 因果效益估计框架

• D.B Rubin的Rubin Causal Model (RCM)
  • 基于Potential Outcome Framework，更加简单直观，统计和社科用的多。它设想与观测相悖情况，是一种反事实因果，被称为Experimental causality（但其一般回答干预层的问题）。
  • 因果分析步骤主要有 1. 定义问题构建粗粒化因果图 2. Do-Calculus（干预）基于概率计算效应
• 基于Judea Pearl的结构因果模型(SCM)
  • Pearl提出小图灵测试是实现真正智能的必要条件（机器如何迅速访问必要信息、正确回答问题，输出因果知识）。
  • 提出因果推理引擎，以假设（图模型）、数据和Query输入，输出Estimand（基于do-calculus判断query是否可识别）、Estimate（概率估计）和Fit Indices（评估）。
  • 其中do-calculus是判断因果问题是否可解的前提，原理就是贝叶斯网络中D-seperation（图分离与概率独立等价条件，参考PRML）
  • 一般回答反事实问题需要SCM模型，由图模型（表示因果知识）、反事实和干预逻辑（形式化问题）和结构方程（链接因果知识【图模型】和因果问题【反事实和干预逻辑】的语义）组成。
  • 一般步骤为 1. abduction（基于现有事实分布【先验】p(u|e)更新图概率p(u)） 2. action（基于结构方程更新x） 3. prediction（预测反事实）

统计估计的主要困难是数据缺失，如何去除数据产生的偏差（Debias）是核心主题。Pearl提出解决混杂偏差、选择偏差和迁移学习方法（数据本身特点导致）

反事实基本定律$Y_x(u)=Y_{M_x}(u)$将SCM和RCM联系起来，左边是反事实，M_x是干预后的模型。SCM中使用函数关系描述因果关系，避免了条件概率表示因果关系时认知论上的困难。

3. 因果推断

3.1 因果推断–uplift model（智能营销增益模型）

. 因果推断书籍

参考:因果推断书籍推荐

book1: Causal Inference: What If[2020]

简介

在本书中，强调需认真地对待因果问题，并描绘数据和假设对因果推理的作用。一旦这些基础到位，因果推论必然变得不那么随意，这有助于防止混淆。这本书描述了各种数据分析方法，当收集一个群体中每个个体的数据时，这些方法可以用来估计在一组特定假设下兴趣的因果效应。这本书的一个关键信息是，因果推理不能简化为数据分析的食谱集合。在整篇文章中，穿插了详细阐述正文中提到的某些主题的要点和技术要点。精细点是为所有读者设计的，而技术点是为受过中级统计学培训的读者设计的。这本书对因果推理的概念和方法提供了一个连贯的介绍，这些概念和方法目前分散在几个学科的期刊上。我们希望对因果推理感兴趣的任何人都会对这本书感兴趣，例如流行病学家、统计学家、心理学家、经济学家、社会学家、政治学家、计算机科学家。。。

book2: Causal Inference: THE MIXTAPE(V.1.7)[2018]

简介

这本书是为几个不同的人写的。它首先是写给实践者的，这就是为什么它包括易于下载的数据集和程序的原因&apos；这也是为什么我做了几项努力来审查论文并尽可能多地复制它们。我希望读者既能理解这一领域，又能感到有能力将这些方法和技术应用到他们自己的研究问题上，我心目中的另一个人是希望重新规划的有经验的社会科学家。也许这些人有更多的理论倾向或背景，也可能是他们的人力资本存在漏洞。我希望这本书能帮助他们学习现代社会科学中常见的因果关系理论，并提供一个有向非循环图形模型的微积分，帮助他们将理论知识与计量经济学识别联系起来，不管是本科生，还是刚毕业的博士。我希望这本书能给你一个跳跃式的开始，这样你就不必像我们很多人那样，曲折地走上这些方法的迷宫。

book3: Advanced Data Analysis from an Elementary Point of View [2017]

下载链接

最初是卡内基梅隆大学的36-402《高级数据分析》的笔记。

book4: Elements of Causal Inference Foundations and Learning Algorithms[2017]

简介

因果关系是一个引人入胜的研究课题。它的数学化相对来说才刚刚开始，许多概念问题仍在争论中——通常激烈程度相当高。虽然这本书总结了花十年时间分析因果关系的结果，但其他人研究这个问题的时间比我们长得多，并且已经存在关于因果关系的书籍，包括Pearl [2009],Spirtes et al. [2000], and Imbens and Rubin [2015]。我们希望本书能够在两个方面补充现有的工作。首先，本书代表了对因果关系子问题的偏见，这可能被认为是最基本和最不现实的。这就是因果问题，被分析的系统只包含两个可观测值。在过去的十年里，我们对这个问题进行了较为详细的研究。我们报告了这项工作的大部分内容，并试图将其嵌入到我们认为对选择性但深刻理解因果关系问题至关重要的更大背景中。虽然先研究二元情况可能有指导意义，但按照顺序的章节顺序，也可能直接开始阅读多元章节。其次，我们的处理受到机器学习和计算统计学领域的激励和影响。我们感兴趣的是其方法如何帮助因果结构的推理，更感兴趣的是因果推理是否能告知我们应该如何进行机器学习。事实上，我们认为，如果我们不以概率分布描述的随机实验为出发点，而是考虑分布背后的因果结构，机器学习的一些最深刻的开放问题就能得到最好的理解。我们试图为熟悉概率论和统计学或机器基础的读者提供对该主题的系统介绍。

其他观看参考链接–英文书籍
参考链接—中文书籍

一些用到因果关系的论文