当前位置: 本站首页 >> 学术之窗 >> 正文

【学科建设】统计方法失当令研究遭遇“复现性危机”

2014年08月02日 07:30  点击:[]

社会科学空间网站日前报道,7月初,美国统计协会、英国皇家统计学会、国际数理统计研究院等六机构共同发布了《统计学与科学:统计科学之未来伦敦研讨会报告》。报告对那些涉及数据统计的研究面临的挑战及解决方法进行了深入探讨,其中一个重要的关注点是科学研究中的“复现性危机”。

2005年,斯坦福大学医学专家、统计学家约翰·艾欧尼迪斯(John Ioannidis)发表的《为何大部分已发表的研究结果是错的》文章曾引发关注。艾欧尼迪斯假设,若科学家对1000个科学假设进行测验,由于大部分假设可能是新奇甚至是令人惊讶的,因此从先验的角度来说,可以假定其中90%(即900个)假设是错误的,而这900个错误假设中,有45个却被验证为正确的,也就出现了45个“错误肯定”。在余下的100个正确假设中,医学研究者通常追踪探测到积极效果的概率为80%,即有80个正确假设会被宣称为正确的,也就是“正确肯定”。当这125个“错误肯定”和“正确肯定”被发表后,有45个(36%)实际是错误的。如果科学假设为正确的先验可能性更低,则发表的研究发现的错误率可能超过50%。

新发布的报告也传递了一个清晰的信息,以医学科学为例,仅从统计上看医学文献中声称的研究发现就有相当比重可能是错误的。基于科学的实际证据和经验表明,这一问题比此前认为的还要严重。

德国拜耳医疗保健公司的一个研究团队在《自然》(Nature)杂志刊文称,当他们对67份已发表的研究进行复查时发现,只有14次完全与研究结果一致。另外,最近由近100名社会心理学研究者组成的小组精选了该领域有相当影响力的27项研究进行重复验证,其中仍有10次尝试彻底失败,还有5次尝试所得结果与原始结论有出入。

这些案例都表明了一个更大的问题,那就是,每位研究者都面临着发表文章的压力,鉴于期刊更愿意发表那些被“证真”的研究,因此无论假设是否正确,研究者都会努力在研究中证实自己的假设是正确的。

科学研究应随着时间的推移,不断排除错误的研究结果,其他研究者应尝试进行重复实验,如果得到的结果不同,则应对原始研究加以质疑。然而,这种理应做的事,却由于重复实验成本较高,且与原创性研究相比能收获的名望较低,因此期刊不倾向于发表重复性研究成果。另外,原始研究文章可能没有足够的信息供其他研究者进行重复实验。公众看到的不可重复的研究越多,他们就会对科学越失去信任。

《自然》杂志2013年介绍了针对生命科学文章作者的新政策,包括设计了一个18条项目的清单来鼓励研究者对外公布研究的实验和统计方法。《公共科学图书馆·综合》(PLoS One)期刊也与实验服务创业公司“科学交流”合作发起了一项可重复性的创造性举措,科学家通过该项目可将实验室外包给其他人进行重复性测试,如果通过测试,则可以得到实验结果的可重复性证明。

在大数据和科学研究成本日益高昂的时代,重复实验并非总是可行。不过,可以将数据和对该数据进行分析的计算机软件发布上网,以便他人能对研究结果进行核实论证。约翰·霍普金斯大学布隆博格公共卫生学院生物统计系教授杰弗里·利克(Jeffrey Leek)曾评论称,“绝大部分的数据分析没有被那些经过特定训练的人以恰当的方式实施。”除了上述鼓励重复实验的措施外,科学研究者也需寻找更多的途径接触合格的统计学家,同时还要加强自身的统计学训练。