科研逻辑:大样本

面对自己所做课题是否有价值的质疑,经常能听到这样一句辩护词,“很多东西刚开始的时候都是不知道有什么用的”。这句话是对的,但涉及到两个关键变量,一是“很多”,二是“刚开始的时候”,也就是说“大样本”和“长时间”。很多东西,不仅刚开始的时候不知道有什么用,一直到最后,也不知道有什么用。那凤毛麟角有用的,往往是万里挑一的科研成果。即使这万里挑一的成果,也得经过漫长的时间才会被认可。

对于一般科研成果,我没有找到相关数据证明到底有多少比例是经得住时间考验的,但是对于医学研究,斯坦福大学研究中心主任埃尼迪斯(John P.A. Ioannidis)统计过,对于营养学研究,可以“全部忽略(ignore them all)”[1]。对于医学研究这整个领域,他2005年发表论文的统计的数据显示,大部分医学研究都是错的。这个偏激的结论并没有引起学术圈的轰动,似乎这早已经是不争的共识[2] 。直到2010年,才被时代周刊跟进报道,称“90%的医学研究都是错的”[3]。他在一篇综述中,统计了1990到2003年间,发表在顶级临床医学杂志上的顶级论文(被引用超过1000次),一共49篇,其中45篇声称发现了某种特效药或疗法。在这49篇顶级文章中,只有34篇被重复检验过,7篇的结论是错的,7篇被发现夸大了有效性。也就是说34篇经过校验的论文中14篇(41%)结论有问题,只有20篇扛住了时间的考验[4]。

对于一般期刊论文,埃尼迪斯选了一个热门领域进行统计,彻查了这个领域内所有论文。他选的领域是研究男女患各种疾病的风险不同,是不是因为基因的影响。在2007年一篇文章中,[5] 埃尼迪斯找了该领域的全部77篇论文,这些论文一共提出432个论断,其中只有60个论断称得上方法严谨。这60个拿的出手的结论中,曾经被其它研究至少重复验证了两次的,只有一个。也就是说,若是要求科学论断的方法严谨,结果至少经过两次检验,那么这个领域的合格率只有1/432(0.23%)。

如果放宽要求,只要一篇论文不被证明是错的,就算它是好论文,那么发表在最权威期刊上的被引用次数最多的医学论文中,有7/45(15.6%)是坏论文。

以上都是从别人书上摘录出来的数据,只是医学领域的情况,我不知道物理学科的发现有多少是虚的,也不知道每年成百上千的材料科学paper,发明出了那么多新材料、新手段,有多少是经得住考验的。从消极的角度看,大部分都是经不起考验的;从积极的角度看,还是有不少结果推动了人类科技进步的。即使只有百分之一可靠,那一百万份paper中,也有一万份的结论是有价值的。

站在整个人类社会发展的角度上看,投入大量资金,大量科研人员,做大样本的试错实验,谋求那1%有价值的科研产出是很划算的。不然这个社会只会越来越穷,怎么可能因为科技进步带来人类整体水平的上升呢。就如风险投资一样,广撒网,不求全部项目都能挣钱,只要有一个项目成了,就可以抵消其它项目的全部亏损。就如读书,不求每本书都醍醐灌顶,但只要有一本书,哪怕只有一页内容、一句话能让自己幡然醒悟,那就值了,就没有浪费时间。毕竟,站在一个大样本的角度看,我们只要问那1%的收获就好了。

但是站在个人的角度上看,不得不面对一将功成万骨枯的惨剧。如果只有1%的成功率,那就意味着99%的人会是炮灰。当用“很多东西刚开始的时候都是不知道有什么用的”来给自己的课题做辩护的时候,这个课题,到底是1%那边的还是99%那边的呢?作为相当自私的人,我不得不慎重考虑这个问题。

美国最杰出的商业哲学家Jim Rohn有个经典论断,“你就是你平常花最多时间相处的五个人的平均水平。”我的好朋友有个说法,看看你身边人的平均水平,看看他们的平均成就,你就大概知道自己在什么位置了,也大概知道自己以后的出路了。他这个说法似乎不符合科研思维,科研本来就是敢为天下先,讲novelty,讲innovation,玩的是小概率事件,自然不能用平均水平来说事。若是科研本来就是做小概率的事,那做成的概率是小还是大呢?

参考资料:

  1. David H. Freedman, Lies, Damned Lies, and Medical Science, The Atlantic, Oct 4, 2010
  2. 万维钢,医学研究能当真吗?,《万万没想到》,p248
  3. Maia Szalavitz, A Researcher’s Claim: 90% of Medical Research Is Wrong, TIME, Oct. 20, 2010
  4. John P. A. Ioannidis, Contradicted and Initially Stronger Effects in Highly Cited Clinical Research, JAMA, 2005, 294(2), 218-228.
  5. Nikolaos A. Patsopoulos, Athina Tatsioni, John P. A. Ioannidis, Claims of Sex Differences: An Empirical Assessment in Genetic Associations, 2007, 298(8), 880-893.

2017/1/15, Sun

吴军硅谷来信094《为什么人人类要上火星》说到一个故事。1970年NASA开始火星之旅研究时,非洲赞比亚的一位叫朱库恩达的修女给NASA的副总监斯图林格博士写了一封信,质疑在非洲孩子还吃不上饭时NASA要花十多亿美元研究登陆火星。当时十多亿美元抵得上今天好几百亿美元。斯图林格博士在收到信后,很快给这位修女回了信,他从四个方面论述了探索宇宙的必要性。

首先,今天看似无用的科学探索在未来可能有大用途。他举了发明显微镜的例子,这个在当时看来并不能治病救人的仪器,后来对医学研究有非常大的用途,救了很多人的命。

其次,探索太空时发明的很多技术直接用于了解决人类饥荒问题比如通过遥感和气象卫星帮助农业生产等等。

第三,开展探索太空这样的顶尖工程项目,可以使全人类的工程绝对水平有一个大幅度的提升。

第四,可以让更多的年轻人加入到科学探索中来。

Leave a Reply

Your email address will not be published. Required fields are marked *