如果计算相对拒绝频率，如何衡量与显着性水平是不是显着不同？ （R中的正态性检验）

Posted 2023-03-12

【中文标题】如果计算相对拒绝频率，如何衡量与显着性水平是不是显着不同？ （R中的正态性检验）

【英文标题】：If computed the relative rejection frequency, how to measure if significantly different from significance levels? (Normality tests in R)如果计算相对拒绝频率，如何衡量与显着性水平是否显着不同？ （R中的正态性检验）

【发布时间】：2020-06-26 07:23:09

【问题描述】：

专业人士和学生，

我的显着性水平为 10%、5% 和 1%，并且由于对我上一个问题的回答，我计算了相对拒绝频率。

replicate_sw10 = replicate(1000,shapiro.test(rnorm(10)))
table(replicate_sw10["p.value",]<0.10)/1000

> FALSE  TRUE 
> 0.909 0.091

但是，如果我对各种样本大小 (T=10,30,50,100,500) 执行此操作并通过 excel 手动存储它。也许有一种更简单的方法可以在函数/列表中计算它。

但是，如果它与显着性水平显着不同，我该如何衡量？ （提示如下：拒绝测试可以建模为伯努利随机变量）

最好的问候

【问题讨论】：

hmmmm 我们在为你做作业吗=p

还不错……反正学校都关门了……让生活

【参考方案1】：

因此，最简单的方法是......所以如果您执行 1000 次测试，您会期望大约 0.1 次测试的 pvalue

set.seed(100)
replicate_sw10 = replicate(1000,shapiro.test(rnorm(10)))
obs_significant = sum(replicate_sw10["p.value",]<0.1)

binom.test(obs_significant,n=1000,p=0.1)

    Exact binomial test

data:  obs_significant and 1000
number of successes = 118, number of trials = 1000, p-value = 0.06479
alternative hypothesis: true probability of success is not equal to 0.1
95 percent confidence interval:
 0.09865252 0.13962772
sample estimates:
probability of success 
                 0.118 

【讨论】：

我可以因此得出结论它总是不等于显着性水平吗？因为与我的其他帖子相比，只有置信区间具有附加信息（除了置信区间之外，您的答案给出了相同的输出）

我不太明白你想要得出什么结论。所有这些模拟表明，如果你在原假设下模拟数据并重复测试 N 次，你会期望说大约 0.05 的 N为

如果正态性检验明确指定，您预计会在 10%、5%、1% 的复制中发现拒绝（置信水平）。这部分是测试大小是否与这些显着性水平有显着差异

好的，我想很可能没有那么不同？