“Effect Size” — same data, different interpretations



Just a short R-script note to embody the 3-page-paper of Rosenthal & Rubin (1982).

Table 1. (p. 167) listed a simple set-up. There was a between-subject treatment. Control group includes 34 alive cases and 66 dead cases. Treatment group includes 66 alive cases and 34 dead cases. The question is what is the percentage of the variance explained by the nominal IV indicating the group?

The authors pointed out that one may interpret the data result as death rate was reduced by 32% while the other may interpret the same as 10.24% variance was explained. Let's demo it more dramatically to imagine just 4% explained variance would reduce death rate by 20%.

--

Rosenthal, R. & Rubin, D. B. (1982). A simple, general purpose display of magnitude of experimental effect. Journal of Educational Psychology, 74, 166-169.

答:有同学认为不应该浪费时间教三遍p值和置信区间

如果确实大部分同学认真跟着我学三遍后还不能明白区间估计的假设检验,我承认是我教学上的失败。然而我不介意讲第四遍第五遍(实际上,在结构方程部分,、方程结构和S的关系我至少重复了五遍。但是五遍都能听懂,一定胜过三遍还没听懂?)假如有同学有兴趣,欢迎贡献一个问卷调查有多少人终于弄懂区间估计和假设检验,还没有弄懂的同学中有多少同学仍然有足够的兴趣企图花时间去弄懂。做在线问卷只需要动机,不需要写代码的能力。我很希望有更多同学去实践在线问卷这项重要的技能。

到底教什么是重要的,我的判断没有改变。我仍确信选讲p值、区间估计符合我对大家学术倾向的最初预期。倾向学术还是倾向职场,对每位同学无所谓对错。要错就是我最初的预期错。现在确实有同学认为,不搞懂p值、power、区间估计照样可以安心作学术,照样可以面对海量的报告p值的文献,照样可以在自己的学术作品中每篇都报告p值。对这一类同学,我以为这是把学术当作普通谋生行业。我要编量表宁可划这类同学为职场倾向。但如果有同学对p、CI这类貌似非应用的学术问题感兴趣(当然有),我认为太有必要在北大的研究生课程里占用足够的正课时间。这是我的公开立场。

同样,我也相信大家对于什么东西是重要的自有度量。但这并不意味着我的课程需要符合多数同学目前的偏好。我相信许多同学考入北大,是为了有一个机会让北大改变自己的偏好(或品味?),而不是相反。

至于上课提点考试题目的噱头,建议对此有意见的同学把它正确地理解为我的一种调侃方式,而不是我对考题的允诺或背书。同时建议对此调侃方式不能接受的同学,错误地把它理解为我对试题的某种程度的提示,我尽量弄假成真促成喜剧。

最后,我很清楚以上这些颇为偏激的意见显然不适合作为一个comment跟在任何一个同学的学习笔记之后。因为每一位在学习笔记中花费时间陈述课程意见的同学,他们是在为课程作自己的一份义工。义工身后,多的是搭便车的沉默群众。甚至我的comment本身,更多时是基于我对原贴的片面误读而不是全面的解读,因为原贴全篇超过60%的篇幅在正面肯定我的课程教学。显然,我的这篇答复意见已经完全不针对原贴和发表原贴的那位同学,所以我决定把这个回复贴在自己的教学笔记,并欢迎所有同学匿名或者不匿名评论。

The tail(s) of p value


For any given vs , the p value of any given point x is , Where

-- See R. Weber's Statistics Note (Chap 6.2 & 7.1)

I made some wrong comment on the pdf Null Ritual (Gigerenzer, Krauss, & Vitouch, 2004) Where three types of significance level (rather than p value) were discussed. I had written the comment to note that the chapter had ignored the role of in definition of p value. In almost every textbook, the two-tail p vs single-tail p are differentiated. Usually, the two-tail p is defined by like .

Here I demonstrate a three-tail p value case on R platform.


z=(-1000:1000)*0.02;
f=0.5 * dchisq(abs(z),df=5);
h=dchisq(10,df=5)*.5;
plot(z,f,type="h",col=c("black","grey")[1+(f>h)]);
lines(c(-20,20),c(h,h));
## is * binomial(-1 vs 1) ##

Do you agree the region nearby zero under the "V" curve (which is below the horizontal line) should be the 3rd tail? I think so, if only includes all other possible distributions in the same shape.

You'll also agree there will be two asymmetrical tails if includes just two asymmetrical curves, for example, and () while is the standardized normal distribution.

相关系数的几何:对截距投影的残差向量之间交角余弦


一直马虎地以为两个列向量的内积就是它们所代表变量的相关系数,结果今天在学生面前出了一回丑,企图让一列常数和另一个列向量的相关系数接近1。大家都知道,一列常数和任何一个列向量的相关系数必定为零。

我的错误在于忘记了协方差表达式中,列向量作内积之前有一步中心化:减去全列的均值。被减去的实际上是一个向量,等于全列均值乘以向量,也就是在截距向量、也就是“对角线”轴方向上的投影。减去这个投影,是没有任何解释变量、只有截距项时的回归残差,这个残差向量和截距方向垂直,所以落在垂直于“对角线”截距向量(日晷指针)的线性子空间里(日晷盘)。协方差实际上是这样的两个残差向量内积,而相关系数就是两残差向量之间的夹角Cosine值。