字面翻译过来就是：
- 设定一个假设H0，称为零假设(Null Hypothesis)；
- 在该假设下，对于某随机变量X有一个可计算的分布D（一般使用正态分布）；
- 做一组实验，得到该随机变量的一个观测值X0；
- 对于该样本，计算对于分布D，观测值比X0相同或更极端的概率，称为p-value。这里“更极端”根据实验情况而定。例如对投硬币实验而言，H0为“硬币是公平的（正反概率相同）”，投10次硬币观测到出现8次正面，“更极端”可以定义为出现8,9,10次正面（此时的p值有时称为单侧p值single-sided p-value），或者定义为出现0,1,2,8,9,10次正面（此时p值称为双侧p值two-sided p-value）。
- 对于该样本，当p值小于某个给定值（对于单侧p值，一般取0.05）时，可以拒绝H0。
具体为什么要强调对于某一次实验，某一组样本，可以看知乎这个回答。