学习笔记计算机时代的统计推断（Bradley Efron and Trevor Hastie 著）

Posted 2022-05-20 囚生CY

序言

英文版教材免费下载地址: CASI

笔者本来是打算写来作为期末复习使用的, 但是发现写着写着变成了翻译教材, 实在是太草了; 本来以为提前一个星期动笔一定可以趁复习时顺手做完这本教材的摘要, 现在看来怕是要来不及了[Facepalm]…

笔者认为本书对于深究机器学习领域中的统计理论知识非常重要, 如果以后想要在机器学习方向做深入研究的话, 此书能够大大开拓使用机器学习方法的思路, 尤其是后半部分的章节与机器学习密切相关, 对诸如交叉验证, 自助法, 深度学习中的参数评估做了详细的理论分析, 非常值得好好学习一遍, 可惜课上讲到第12章就结束了;

本文长期更新, 笔者对该教材非常感兴趣, 眼下迫于期末复习无法详细做完所有笔记, 目前只做完了前三节的内容, 后续重点会就机器学习相关章节做一些笔记, 其他章节可能就以总结重点的形式一笔带过, 因为前面的几个章节主要还是基础的统计知识, 大部分可以在教科书上找到, 总之不能像前三节一样费时间写了, 实在是来不及了…

---

目录

• 序言
• PART 1 经典统计推断 Classic Statistical Inference
• • 1 算法与推断 Algorithms and Inference
  • • 1.1 一个回归示例 A Regression Example
    • 1.2 假设检验 Hypothesis Testing
  • 2 频率推断 Frequentist Inference
  • • 2.1 频率主义的实际应用 Frequentism in Practice
    • 2.2 频率学派最优性 Frequentist Optimality
  • 3 贝叶斯推断 Bayesian Inference
  • • 3.1 两个示例 Two Examples
    • 3.2 无信息先验分布 Uninformative Prior Distributions
    • 3.3 频率推断的缺陷 Flaws in Frequentist Inference
    • 3.4 贝叶斯学派与频率学派的比较清单 A Bayesian/Frequentist Comparison List
  • 4 费雪推断与最大似然估计 Fisherian Inference and Maximum Likelihood Estimation
  • • 4.1 似然与最大似然 Likelihood and Maximum Likelihood
    • 4.2 费雪信息量与最大似然估计 Fisher Information and the MLE
    • 4.3 条件推断 Conditional Inference
    • 4.4 置换与随机化 Permutation and Randomization
  • 5 参数化模型与指数分布族 Parametric Models and Exponential Families
  • • 5.1 单变量分布族 Univariate Families
    • 5.2 多元正态分布 The Multivariate Normal Distribution
    • 5.3 多参数分布族的费雪信息量的边界 Fisher’s Information Bound for Multiparameter Families
    • 5.4 多项分布 The Multinomial Distribution
    • 5.5 指数分布族 Exponential Families
• PART 2 早期计算机时代的方法 Early Computer-Age Methods
• • 6 经验贝叶斯 Empirical Bayes
  • • 6.1 罗宾公式 Robbins' Formula
    • 6.2 消失的物种问题 The Missing-Species Problem
    • 6.3 一个医学问题示例 A Medical Example
    • 6.4 间接证据1 Indirect Evidence 1
  • 7 詹姆斯——斯坦因估计与岭回归 James–Stein Estimation and Ridge Regression
  • • 7.1 詹姆斯——斯坦因估计量 The James–Stein Estimator
    • 7.2 棒球运动员 The Baseball Players
    • 7.3 岭回归 Ridge Regression
    • 7.4 间接证据2 Indirect Evidence 2
  • 8 广义线性回归与回归树 Generalized Linear Models and Regression Trees
  • • 8.1 逻辑回归 Logistic Regression
    • 8.2 广义线性模型 Generalized Linear Models
    • 8.3 泊松分布 Poisson Regression
    • 8.4 回归树 Regression Trees
  • 9 生存分析与期望最大化算法 Survival Analysis and the EM Algorithm
  • • 9.1 寿命表与危险率 Life Tables and Hazard Rates
    • 9.2 删失数据与卡普兰——梅尔估计 Censored Data and the Kaplan–Meier Estimate
    • 9.3 对数排名检验 The Log-Rank Test
    • 9.4 比例危险模型 The Proportional Hazards Model
    • 9.5 数据缺失与期望最大化算法 Missing Data and the EM Algorithm
  • 10 刀切法与自助法 The Jackknife and the Bootstrap
  • • 10.1 刀切法估计的标准误差 The Jackknife Estimate of Standard Error
    • 10.2 无参自助法 The Nonparametric Bootstrap
    • 10.3 重采样计划 Resampling Plans
    • 10.4 有参自助法 The Parametric Bootstrap
    • 10.5 影响函数与鲁棒估计 Influence Functions and Robust Estimation
  • 11 自助法的置信区间 Bootstrap Confidence Intervals
  • • 11.1 黎曼对于单参数问题的构建 Neyman’s Construction for One-Parameter Problems
    • 11.2 分位数方法 The Percentile Method
    • 11.3 偏差矫正后的置信区间 Bias-Corrected Confidence Intervals
    • 11.4 二次精确度 Second-Order Accuracy
    • 11.5 自助法的$t$区间 Bootstrap-$t$ Intervals
    • 11.6 目标贝叶斯区间与置信分布 Objective Bayes Intervals and the Confidence Distribution
  • 12 交叉检验与预测误差的$C_p$估计 Cross-Validation and $C_p$ Estimates of Prediction Error
  • • 12.1 预测规则 Prediction Rules
    • 12.2 交叉检验 Cross-Validation
    • 12.3 协方差惩罚 Covariance Penalties
    • 12.4 训练, 验证与短暂预测因子 Training, Validation, and Ephemeral Predictors
  • 13 目标贝叶斯推断与马尔科夫链蒙特卡洛法 Objective Bayes Inference and MCMC
  • • 13.1 目标先验分布 Objective Prior Distributions
    • 13.2 共轭先验分布 Conjugate Prior Distributions
    • 13.3 模型选择与贝叶斯信息标准 Model Selection and the Bayesian Information Criterion
    • 13.4 基比斯采样与马尔科夫链蒙特卡洛法 Gibbs Sampling and MCMC
    • 13.5 示例: 人口混合建模 Example: Modeling Population Admixture
  • 14 战后统计推断与方法论 Postwar Statistical Inference and Methodology
• PART 3 二十一世纪的话题 Twenty-First-Century Topics
• • 15 大规模假设检验与错误发现率 Large-Scale Hypothesis Testing and FDRs
  • • 15.1 大规模检验 Large-Scale Testing
    • 15.2 错误发现率 False-Discovery Rates
    • 15.3 经验贝叶斯与大规模检验 Empirical Bayes Large-Scale Testing
    • 15.4 局部错误发现率 Local False-Discovery Rates
    • 15.5 零分布下的选择 Choice of the Null Distribution
    • 15.6 相关性 Relevance
  • 16 稀疏建模与最小绝对收缩和选择运算符 Sparse Modeling and the Lasso
  • • 16.1 前向逐步回归 Forward Stepwise Regression
    • 16.2 最小绝对收缩和选择运算符 The Lasso
    • 16.3 拟合Lasso模型 Fitting Lasso Models
    • 16.4 最小角度回归 Least-Angle Regression
    • 16.5 拟合广义Lasso模型 Fitting Generalized Lasso Models
    • 16.6 Lasso的后选择推断 Post-Selection Inference for the Lasso
    • 16.7 联系与拓展 Connections and Extensions
  • 17 随机森林与提升方法 Random Forests and Boosting
  • • 17.1 随机森林 Random Forests
    • 17.2 使用平方误差损失函数来提升 Boosting with Squared-Error Loss
    • 17.3 梯度提升 Gradient Boosting
    • 17.4 最初的提升算法 Adaboost: the Original Boosting Algorithm
    • 17.5 联系与拓展 Connections and Extensions
  • 18 神经网络与深度学习 Neural Networks and Deep Learning
  • • 18.1 神经网络与手写数字问题 Neural Networks and the Handwritten Digit Problem
    • 18.2 拟合神经网络 Fitting a Neural Network
    • 18.3 自动编码器 Autoencoders
    • 18.4 深度学习 Deep Learning
    • 18.5 学习一个深度网络 Learning a Deep Network
  • 19 支持向量机与核函数方法 Support-Vector Machines and Kernel Methods
  • • 19.1 最优分割超平面 Optimal Separating Hyperplane
    • 19.2 松弛边际分类器 Soft-Margin Classifier
    • 19.3 支持向量机的 SVM Criterion as Loss Plus Penalty
    • 19.4 计算与核函数技巧 Computations and the Kernel Trick
    • 19.5 使用核函数进行函数拟合 Function Fitting Using Kernels
    • 19.6 示例: 用于蛋白质分类的字符串核函数 Example: String Kernels for Protein Classification
    • 19.7 支持向量机总结 SVMs: Concluding Remarks
    • 19.8 核函数平滑与局部回归 Kernel Smoothing and Local Regression
  • 20 模型选择后的推断 Inference After Model Selection
  • • 20.1 同时置信区间 Simultaneous Confidence Intervals
    • 20.2 模型选择后的精确度 Accuracy After Model Selection
    • 20.3 选择偏差 Selection Bias
    • 20.4 贝叶斯与频率学派结合的估计 Combined Bayes–Frequentist Estimation
  • 21 经验贝叶斯估计策略 Empirical Bayes Estimation Strategies
  • • 21.1 贝叶斯反卷积 Bayes Deconvolution
    • 21.2 $g$建模与估计 $g$-Modeling and Estimation
    • 21.3 似然, 正则化与精确度 Likelihood, Regularization, and Accuracy
    • 21.4 两个示例 Two Examples
    • 21.5 生成线性混合模型 Generalized Linear Mixed Models
    • 21.6 反卷积与$f$建模 Deconvolution and $f$-Modeling

---

PART 1 经典统计推断 Classic Statistical Inference

---

1 算法与推断 Algorithms and Inference

1. 统计科学是从经验中进行知识学习的学科, 尤其是那种每次都只有有少量积累的经验, 如:

• (1) 新研发的实验药品成功与否;
• (2) 小行星通往地球路径的不确定测算;

2. 样本均值估计$$\bar{x}=\sum _{i=1}^n\frac{x_i}{n}\text{\hspace{1em}(1.1)}$$的标准误差估计值为: $$\widehat{\mathrm{s}\mathrm{e}}={\left[\sum _{i=1}^n\frac{(x_i-\bar{x}{)}^2}{n(n-1)}\right]}^{\frac{1}{2}}\text{\hspace{1em}(1.2)}$$

• $(1.1)$中均值计算属于一种推断算法;
• $(1.2)$中的标准误差值可以表示该推断算法的精确性, 标准误差越小, 精确度越高;
  • 标准误差: 指在给定样本$$\mathbf{X}=x_1,x_2,...,x_n$$的条件下, 样本统计量$T(\mathbf{X})$的标准差;
  • 此处$T(\mathbf{X})=\bar{x}$, 则标准误差估计值$\widehat{\mathrm{s}\mathrm{e}}$计算公式为:$${\left[\sum _{i=1}^n\frac{1}{n^2}\mathrm{V}\mathrm{a}\mathrm{r}({\mathrm{x}}_{\mathrm{i}})\right]}^{\frac{1}{2}}={\left[n\cdot \frac{1}{n^2}\cdot \frac{(x_i-\bar{x}{)}^2}{(n-1)}\right]}^{\frac{1}{2}}={\left[\sum _{i=1}^n\frac{(x_i-\bar{x}{)}^2}{n(n-1)}\right]}^{\frac{1}{2}}$$
• 结论: 提供统计推断的一组样本数据, 同样可以用来评估该推断结果的精确性;

1.1 一个回归示例 A Regression Example

1. 本节给出一个肾功能随年龄变化的回归分析模型: y =

   以上是关于学习笔记计算机时代的统计推断（Bradley Efron and Trevor Hastie 著）的主要内容，如果未能解决你的问题，请参考以下文章

   概率统计笔记：贝叶斯推断 Bayesian Inference

   正态分布-置信区间计算

   笔记︱盘点实验科学的三种实验模型（A/B实验因果推断强化学习）

   笔记︱盘点实验科学的三种实验模型（A/B实验因果推断强化学习）

   笔记︱盘点实验科学的三种实验模型（A/B实验因果推断强化学习）

   描述统计 | 学习笔记 (全)