学习笔记网络图数据分析导论（solid）

Posted 2021-08-28 囚生CY

• 讲座标题：Introduction to Network Data Analysis

• 中文标题：网络数据分析导论

• 讲授者：$\text{Dr. Zongming Ma}$

• 讲授者邮箱（课程内容问题可联系）：$\text{[e-mail]}$

• 腾讯会议$\mathrm{I}\mathrm{D}$：

  第一节课（讲座时间：$\text{2021/07/28 08:00-11:30(UTC+8)}$）$353417977$（密码：$123456$）https://meeting.tencent.com/s/MuR1hV5tczeW

  第二节课（讲座时间：$\text{2021/07/29 08:00-11:30(UTC+8)}$）$482857838$（密码：$123456$）https://meeting.tencent.com/s/iyUdNiXsohiy

  第三节课（讲座时间：$\text{2021/07/30 08:00-11:30(UTC+8)}$）$107999260$（密码：$123456$）https://meeting.tencent.com/s/9UwpnnmlCKbc

序言

这门课是叉院开设在今年$7$月$28$日至$7$月$30$日的短期课程，主要讲授在网络图中的模型与应用，重心偏于统计理论以及数学规划，难度较高。讲授者以板书形式授课，笔者对板书内容进行的翻译，预计更新至$7$月$30$日，不过那天可能会有事无法详细记录最后一节课的内容。

讲授者介绍及课程大纲见本文$\text{Lecture 1}$中的内容，笔者认为该课程的质量是非常高的，由于不计学分且讲授者出于中美关系问题不让学院在公众号宣传，上课人数较少，有兴趣的朋友可以抽空来听听，虽然目前图神经网络已经有长足的应用与发展，但是笔者一向认为缺乏理论支撑的工作往往是难以长久的。

另上述邮箱可用于联系讲授者进行课程内容答疑，此后两天课程时间改为从$08:30$开始，中途下课一次。

---

文章目录

• 序言
• $\text{Lecture 1}$ 概论
• $\text{Lecture 2}$ 统计决策理论导论
• $\text{Lecture 3}$ 随机块模型（一）

---

$\text{Lecture 1}$ 概论

1. 讲授者介绍：

   Dr. Zongming Ma is an Associate Professor of Statistics of the Wharton School at the University of Pennsylvania. He received his PhD in Statistics from Stanford University in 2010 and has since then been on the faculty of the Wharton Statistics Department. Dr. Ma’s research interests include high-dimensional statistical inference, nonparametric statistics, network data analysis, and their applications in biomedical data analysis. He is a recipient of a Sloan Research Fellowship and an NSF CAREER Award.

2. 课程大纲：

   1. Introduction to network data
      (a) Examples of typical network data
      (b) Important characteristics
      (c) Main challenges: modeling, algorithm, theory
      (d) This course: exchangeable network models, SBM / DCBM / latent space models
   2. A short introduction to statistical decision theory
      (a) Model, parameter, action space, loss, risk
      (b) Statistical optimality: Cramer–Rao, Bayes, minimax, rate minimax
      (c) Why the rate minimax viewpoint makes sense for complex decision problems
      (d) Neyman-Pearson lemma
      (e) Statistical optimality vs. computational efficiency
   3. Stochastic block models (1)
      (a) Data, model and parametrization
      (b) Likelihood and mean structure
      (c) To start with: planted partition model (balanced 2-block model)
      i. Spectral clustering
      ii. SDP relaxation of MLE
      iii. Approximate message passing
   4. Stochastic block models (2): Performance guarantee of spectral clustering
      (a) Prelude: three different regimes for community detection
      (b) l2 loss function
      (c) l∞ loss function
      (d) From spectral clustering to rate minimaxity
   5. Stochastic block models (3): Performance guarantee of SDP relaxations
   6. From SBMs to DCBMs
      (a) Reminder: why DCBMs
      (b) Generalization of spectral clustering
      (c) Generalization of SDP
      (d) Rate optimality in DCBMs
   7. Latent space models
      (a) Intro to latent space models
      (b) Connection to 1-bit matrix completion
      (c) Parameter estimation
      (d) Community detection
   8. Other models and connections to other statistical problems

---

$\text{Lecture 2}$ 统计决策理论导论

本节内容为数理统计回顾。

1. 模型，参数，参数空间

   $(1)$ 模型：给定数据$X$，模型即生成$X$的概率分布$F$，记为$X\sim F$。

   $(2)$ 参数：我们并不$100\%$确定模型是正确，因此通常考虑一组模型，由参数$\theta$来索引（index）。

   $(3)$ 参数空间：即参数$\theta$的定义域$\Theta$。

2. 行为空间，损失函数与风险函数

   $(1)$ 理论框架：给定数据$X$，模型$F_{\theta }$，需要制定决策，如估计、检验以及预测。

   $(2)$ 行为空间：决策可以采取的所有值构成行为空间，记为$\mathcal{A}$，我们需要得出某个映射$X\to \mathcal{A}$。

   • 在检验中， A = { 0 , 1 } \\mathcal{A}=\\{0,1\\} A={0,1}或$A=[0,1]$表示是否拒绝零假设或表示随机检验中拒绝零假设的概率。

   $(3)$ 损失函数：给定一个行动$a\in A$，损失函数$l(a,\theta )$用于衡量该行为有多坏。

   • 确定检验中，一种合理的损失函数：$l(a,\theta )={\text{1}}_{a=1}\cdot {\text{1}}_{\theta \in H_0}+{\text{1}}_{a=0}\cdot {\text{1}}_{\theta \in H_1}$
   • 随机检验中，一种合理的损失函数：$l(a,\theta )=a\cdot {\text{1}}_{\theta \in H_0}+(1-a)\cdot {\text{1}}_{\theta \in H_1}$

   $(4)$ 风险函数：即损失函数的期望值，$R(\theta )={\mathbb{E}}_{\theta }\left[l(a(X),\theta )\right]$，这是一个只与$\theta$相关的函数。
   $$R(\theta )={\mathbb{E}}_{\theta }{\Vert \hat{g}(\theta )-g(\theta )\Vert }_2^2\text{\hspace{1em}(2.1)}$$

3. 统计最优性

   $(1)$ $\text{Cramer-Rao}$定理（无偏估计量的最小方差）：$X_1,...,X_n\stackrel{iid}{\sim }{f}_{\theta }(x)$，设$W(x)=W(X_1,...,X_n)$是任意一个估计函数，其中$x\in \mathcal{X}$，使得$\frac{\text{d}}{\text{d}\theta }{\mathbb{E}}_{\theta }以上是关于学习笔记网络图数据分析导论（solid）的主要内容，如果未能解决你的问题，请参考以下文章$

   solidity学习笔记02-数据存储篇

   solidity学习笔记02-数据存储篇

   算法导论学习笔记－归并排序

   算法导论学习笔记第3章：函数的增长

   SQL学习笔记——导论

   静态分析系列1-南大软件分析1.0 导论学习笔记