Lucien Le Cam的书籍和理论

Posted 2022-12-12 「已注销」

如果要问二十世纪最伟大的统计学家是谁，大部分的回答不会是Fisher或者Wald，而是Lucien Le Cam。从最近开始我会组织一些同学去翻译Le Cam的大作Asymptotic Methods in Statistical Decision Theory。所以不妨现在就对这部分内容做个简介。

这本书的内容

从统计学角度来说，最难的问题基本上是三个：

1. 如何评价统计决策手段的效果；

2. 在这个评价体系之下，最好的界是什么；

3. 知道最好的界之后，我们是否可以达到。

虽然Le Cam的理论仅仅是建立在参数模型的基础上（后续有人扩展了一部分到半参数模型），但是一个人把这些问题都解决可想而知是什么境界。这种就是自己挖坑然后再把这个事情做到别人没有可做的数学家，我目前还只能想起来van der Vaart在贝叶斯领域的贡献。

为什么要读这本书

关于这本书，我的导师van der Vaart在给Annal of Statistics做总结的时候，放了一个嘲讽。原文我就不引用了，但是大意就一个：“这本书给你们这帮蠢货学者，你们都未必能看懂！”

事实上这本书的确是知名的“天书”之一。这本书当中最难的一点在于，Le Cam广泛引用了当时很先进的泛函分析的理论。Le Cam引用的理论远远超过了像Rudin的泛函分析这么简单的内容，而对于即使是专门进行泛函分析研究的学者，Le Cam所使用的理论也是非常先进和陌生的。

那么Le Cam为什么要引用这些理论呢？一个最重要的原因，也是Le Cam天才的地方，就是Le Cam解决问题的方式。对于大部分人来说，如果我们有了问题A，那么我们一般去考虑的都是问题A的内容。Le Cam不这么想。在Le Cam的体系中，因为问题A，B，C，D，E每个都不一样，所以这么折腾下去只能是思路一跳。Le Cam的目的是把所有问题都和一个标准的问题X做比较。如果在X之上能够得到最优解，那么差异无非就是A和X之间的区别。

在这条路程当中，Le Cam采用了很多大家意向不到的证明方法。比如说Partition of Unity，
Min-Max定理，自己定义的积分，General Duality理论，Dunford-Pettis的应用等等。这些大手笔的方法一般都仅仅在“传说中”才听过。

当然，如果不借用这些工具，直接使用熟悉的概率论工具，也可以得到类似结论。见Asymptotic Statistics这本书的6到8章。

扩展Le Cam理论

那么有什么东西可以扩展Le Cam理论呢？就目前AI来说，其最大不同就是AI考虑优化过程，而参数模型基本上假设解直接是存在的。在这种情况下，如果我们把优化过程看作在黎曼流形上的动态系统会怎么样呢？很神奇的是，黎曼几何、动态系统和泛函分析的交互在这几年取得了很大的进展，而且在之前也有人尝试用Information Geometry的方法解决一些问题。可惜这部分的数学工具也是很深刻的内容，而AI理论距离这个恐怕还有几百年的距离吧。

不过我们还是可以做梦的啊！