运气的秘密

在这里插入图片描述


在统计学范畴,很少会有比均值回归更有趣的概念,原因有二:首先,人们几乎每天在生活中都会遇到;其次,几乎没有人理解它。因此,均值回归成为人类做出错误判断的根源之一。

I 小题大做

小数定律(P4)

2002年,心理学家丹尼尔卡尼曼因为“把心理学研究和经济学研究结合在一起,特别是在与不确定状况下的决策制定有关的研究”,获得了诺贝尔经济学奖(合作者阿莫斯特沃斯基因病逝未能获奖)。卡尼曼和阿莫斯特沃斯基认为,人类的思维过程往往会遵循某种规则而产生错误推论,他们将这种规则称为“小数定律”。例如,很多人都非常热衷于预测橄榄球比赛、总统选举或股市行情,如果某人四次预测有三次正确,我们就会认为他的正确率高达75%。但事实上,这个结论所依据的数据非常有限,缺乏足够有说服力的理由作为支撑。比如,当我们抛硬币时,如果抛了4次,有3次都是正面朝上,我们不会草草推断正面向上的概率为75%。与之相比,关于体育、政治和股市方面的预测就会显的抽象很多,并没有硬币作为直观的参照物,所以我们很容易根据为数不多的几次成功或失败做出过渡的推断。

小数定律使得我们误以为仅凭运动员的一次出色发挥,就可以精确衡量其能力。可事实上,出色的发挥通常受到好运气的影响,这意味着使用小数定律会夸大运动员的能力。不仅如此,好运气不可能永远都在,所以运动员也不可能永远保持出色的表现。同样,发挥失常往往是受到了坏运气的影响,运动员也不可能永远都发挥失常。

出色的发挥就像有磁力一样,总会吸引水平稍差的发挥紧随其后。统计学家将这种磁力称为“均值回归”。

在不同情况下,表现会因为不同的原因而出现起伏。例如,一位学生在考试中得到了非常高的分数,可能仅仅是因为他蒙对了部分关键答案;一家公司收益丰厚,可能仅仅是因为一篇正面报道为其带来了好口碑;一位求职者从众人中脱颖而出,可能仅仅是因为他碰巧对面试官随机提出的问题做了充分准备。

II 遗传的特性

III 教育

振奋士气,不一定要靠惩罚(P37)

心理学家、《思考,快与慢》的作者卡尼曼与行为科学家阿莫斯特沃斯基发现,人类在做决策时倾向于依靠一个参考点,他们讲这种现象称为“锚定”。我的统计学班上的一名学生写了一篇论文,描述了这个现象的弱点。他随机选择了一些学生,请他们回到一些两个问题之一:

  • 如果玻利维亚的人口是500万,请预估保加利亚的人口。
  • 如果玻利维亚的人口是1500万,请预估保加利亚的人口。

那些被问到第二个问题的人,通常比问到第一个问题的人给出的预估数字更高。还有几个类似的问题都证明了一件事——人们倾向于用已知的“事实”作为他们猜测的依据。

汽车经销商往往用锚定来操纵我们付出更多的钱。我们先看到经销商给出的初始价格,然后再和对方商定出最终价格,通过比较两者的差异来判断这笔交易是否划算,无论初始价格有多么不切实际。因此,有经验的汽车销售员都会先开出很高的价格,再开始讨价还价。

人性的另一个弱点是对均值回归的忽略。卡尼曼曾经试图说服以色列的飞行教员,如果用表扬代替惩罚,学员会进步得更快。但一位高级教员表示反对,他这样告诉卡尼曼:“在很多时候,我们都会称赞学员,因为他们能漂亮地执行一些特技动作,但通常来说,当他们再次尝试时会做的很糟;但那些经常挨骂的学员在下次飞行时会做得更好。所以,请不要告诉我们,表扬使人进步而惩罚不会,事实情况恰恰相反”

他们认为,那些受到表扬的飞行员会因为自满而不再用功;那些因为表现不好而挨骂的飞行员,则会由于害怕被提出训练计划而变得更用功。事实是表现最好的飞行员并不像看起来的那么优秀,同样,那些表现最差的飞行员并没有那么差劲,即使没有受到批评,下次也会表现得更好。

凯利公式(P41)

楚门凯利是哈佛大学的教授,他在1947年写了一本长达772页的书,叫做《数学基础》。这边厚重的书中隐藏了一个了不起的公式——凯利公式。这个公式表面,想要预估一个人的能力,可以将这个人的表现和他所属群体的平均进行加权:
= R × + 1 R × 预估能力= R \times 表现+(1-R)\times 群体平均表现 R指的是新都,能够衡量表现的统一程度。如果一组学生参加了两次具有可比性的考试,信度就能体现两次考试成绩的相关性。

假设所有高中生都参加同一场考试,我们对每个应试者都一无所知,他们的表现就是考试分数,平均群体表现则是平均分数。所以凯利公式是:
= R × + 1 R × 预估能力= R\times 分数+(1-R)\times 平均分数

如果某个学生所有分数都是随机的,信度R=0,此时对该学生能力最好的预估就是他的平均分数。
另一个极端是,无论测几次,同一个学生的分数都相同,R=0,那么对于学生能力最好的预估就是他的得分。

如果 R=0.8,此时用凯利公式预估一个人的能力时,80%基于本人的得分,20%基于平均得分:
= 0.8 × + 0.2 × 预估能力= 0.8\times 分数+ 0.2 \times 平均分数

假设平均分为60,得分超过平均分的人,预估能力高于平均值,但不会像分数高得那么多。如,得90分的人,预估能力为84分;得分低于平分解的人,预估能力低于平均值,但不会像分数低得那么多。如,得30分的人,预估能力为36分。

如果你觉得这看上去像是均值回归,那么你是对的。当分数远离平均值时,实际能力更接近于平均值,凯利公式的奇妙之处就是能够告诉我们其接近的程度。

凯利公式可以说源自贝叶斯定理。在测试前要先预估一个人的能力,得到结果后,再根据结果修改预估值。这种方法被称为后验预估,根据测试的可靠性给予测试一定的权重。
= R × + 1 R × 后验能力= R \times 分数+ (1-R) \times 平均分数

贝叶斯定理的好处是,它可以帮助我们理解凯利公式因何成立。在测试之前,我们无法知晓一名学生的能力是否高于或低于平均水平;在测试之后,我们可以根据分数来判断学生的能力与平均水平的差距。但均值回归效应告诉我们,极端表现(无论是好还是坏)通常来自能力并不极端的人。所以我们要根据分数来修改对学生能力的评估,但不完全将其作为能力的体现。另外,贝叶斯定力允许我们在学生重新考试的情况下重新进行预估。

IV 机会游戏

赌徒的谬误(P73)

有些人相信相反的理论:连续的好运气会让坏运气更有可能出现。例如,一个赌徒这样写道:
“抛开数学或者概率论不谈,如果在掷骰子游戏中,对家连赢10把,我一定会在第11把的时候赌他输。如果他还是赢了,我会在第12把时继续赌他输。无论之前发生了什么,就算每次掷骰子的数学赔率真的保持不变,但你有多少次见过有人能连赢13把或者14把”
13连胜的确罕见,但在连胜12把的情况下讨论13连胜的概率又是另一回事了。运气游戏的结果并不依赖于过去发生了什么。是的,好运气不会永远持续下去,否则也就不会被称为“运气”了。

相信每一点好运气都让坏运气更有可能出现,而每一点坏运气都让好运气更有可能出现,这被称为“赌徒谬误”或者“错误的平均律”。事实上,在运气游戏中,好运气和坏运气出现的概率并不会因为最近出现的好运气或坏运气有所改变。

许多体育迷非常迷信赌徒谬误。在一届超级碗上,华盛顿队对抗旧金山队,最后要通过点球决定胜负。CBS电视台评论员指出“马克莫里斯”已经射失4个点球,另一位评论员汉克塔姆呼应到“这样的概率反而对他有利”。而我想说,如果这次点球他再射失,很有可能就要失业了。

有一次,我在赛季初的大学橄榄球赛上看到一名球员错失3个点球,电视评论员说,教练应该对此感到高兴,因为接下来的几周会有机场艰难的比赛。他认为,每名球员都会在每个赛季错失一些点球,在赛季初错失掉反而是好事。但我要说,教练不如考虑换一名新的球员。

当连续遇到坏运气时,我们希望情况会发生变化。当然,坏运气不可能永远持续下去,但坏运气本身与好运气的出现并无关联。反之亦然。通常来讲,只有改变行为才能改变命运。如果病人不断死去,那么医生就要重新考虑诊断方法。如果婚姻总是失败,那么就需要重新审视自身问题和对配偶的选择。

那么,连胜现象和平均法则,哪个才是正确的?著名体育比赛解说员,拉斯维加斯撞击吉米这样说道:“当连续4次出现正面的时候,聪明的职业赌徒会赌再次出现正面,而业余赌徒就认为正面不会再出现了,应该出现背面了。”真相是,这两种观念都是错误的。根据均值回归线性,无论将来还是过去,成功的概率都是一致的,不会发生任何变化。

别回头看 (P76)

掩盖错误是人类的天性,你买了一只巨大的特价冰激凌,但吃到一半就吃不下去了,你会因为花了钱就强迫自己吃完吗?你买了中西部大学橄榄球比赛的季票,到了11月,球队成绩糟糕,天气恶劣,你会因为花了钱就强迫自己去看比赛吗?你买了某家公司的股票,此后一些意想不到的坏消息导致该公司股价下跌,此时卖出股票能够避免损失,但同时也等于承认自己买错了股票,那么你会选择卖出还是继续持有呢。

坚守无法改变的事物,并不能获得什么,也不会失去多少。这些事物叫做沉没成本。吃不完的冰激凌是沉没成本,糟糕的橄榄球比赛的门票是沉没成本,同样,你不幸买错的股票也是沉没成本。

在运气游戏中,损失就是损失,无法挽回,但许多人不甘心。卡尼曼和特沃斯基观察到,在一个比赛日即将结束时,赛马场的赌注会增加,因为人们想用一种便宜的方式来赢回当天输掉的钱。他们的结论是:“不能接受损失的人,同样不能接受赌博的失败。”

从理论上讲,有经验的扑克玩家都有自己的风格,这是他们多年甚至数十年总结出来的经验。一旦他们确定了自己的最佳策略,就应该坚持下去,不管最近几手的结果如何。如果他们遭受了巨大损失,就应该认识到这只是因为运气不好,并且坚持自己的策略,相信以自己的能力会赢回失去的钱。他们的成功将回归平均值,巨大的损失只是一时偏差,未来的利润会符合他们的能力。这些玩家虽然经验丰富,但并没有认识到他们的表现会在重大失败后回归均值。相反,他们变得更喜欢投机,希望能够尽快弥补损失。

扑克作家肯沃伦曾经这样描述德州扑克游戏:“有些玩家明明知道正确的做法,却不这样做,这让他们遭受了更大的损失。对于玩家来说,要想获胜,必须具备四个条件:拥有完善的计划、拥有良好的策略、坚持他们和足够的资金。”

美盛基金高级副总裁大卫尼尔森补充道:“投资也是同样的道理:计划、策略、坚持以及资金”。
不同的研究都发现,投资者的行为同样会受到重大损失的影响,例如:

  1. 如果国债交易员在上午有损失的话,那么在下午更容易冒大风险。
  2. 芝加哥商业交易所的场内交易在受到损失后增加了风险敞口。
  3. 专业的股票日交易者在上午受到损失后,会在下午进行更激进的交易
  4. 未达目标的共同基金和投资组合经理会为了达到目标而承受更大的风险
  5. 受到重创的交易员会投入巨额赌注,试图弥补先前的损失。

《华尔街日报》2009年的一篇报道称,许多投资者都通过增加更高风险的投资以应对股市的损失:“这是金融版本的万福玛丽球(美式橄榄球术语,指成功率很低的长距离直传,一般用在比赛快结束的时候,孤注一掷,以求在最后时刻得分),是在即将输掉球赛时的绝望行为——远离球门线,把球踢得更用力、更高,希望能够以某种方式来得分,并追平差距。”
对于拥有良好策略的扑克玩家和投资者,均值回归建议:耐心比万福玛丽球更靠谱。

V 体育

记住好时光(P104)

类似的事情发生在我儿子效力的旅行棒球队上。这支球队的教练自视甚高,经常在比赛的关键转折时刻换上一名王牌替补击球手或投手,认为替补队员回避换下的队员表现得更好。如果替补球员确实表现出色,教练就会吹嘘自己是个天才;如果球员表现不佳,教练就会责备这个孩子。他不能接受这样一个事实:每一次换人都有运气因素,无论这次换人时明智的还是随意的。

这位教练只记住了换人奏效的情况,而忘记了不奏效的情况,并由此创造了一种带有偏见的规律。公正的评估应该是考察所有换人的情况,把成功和失败的次数列成表格。但这种方式本身也存在问题,因为我们无法知道,如果没换上替补球员,情况会如何发展。

VI 健康

癌症村之谜(P127)

20世纪70年代,流行病学家南希威尔泽梅尔和物理学家埃德利珀一路驱车穿过丹佛,对那些有成员在19岁前死于癌症的家庭开展研究,试图找出它们之间的共同特征。他们发现,这些家庭很多都居住在高压电线附近,所以他们得出这样一个结论:暴露在电线的电磁场中容易引发癌症。

一名叫做保罗布罗德的记者在《纽约客》上连续发表了3篇文章,报道了电线与癌症之间的其他随机相关性例子。他郑重警告道:“数以千计的无辜儿童和成年人将罹患癌症,他们中的许多人将因为电线带来的电磁场辐射而英年早逝。”这些报道引发了全国性骚动,给咨询师、研究人员、律师等人带来了无限商机,一些小型探测设备制造商也迎来了自己的春天。人们纷纷购置高斯计在家中测量电磁场辐射(EMF值),把EMF值较高的房间改作库房使用。幸运的是,当地政府并没有切断国家的电线。

这种恐慌的问题在于,即便癌症的发病率在人口中是随机分布的,总会有一些患者住得很近。当驾车穿过癌症患者密集居住的社区,肯定能够发现一些特别的东西,比如这个城市的少年棒球联合会的棒球场就在附近。如果将住在棒球场附近居民的癌症发病率与离棒球场较远的居民进行比较,可以推断少年棒球联合会的球场会导致癌症;当驾车穿过(癌症碉堡,即城市中无人患癌症的区域),也可能发现一些不寻常的东西,如城市的水塔就在附近。如果将水塔附近的居民的癌症发病率与离水塔较远的居民进行比较,前者明显要低得多,或许我们可以据此推断水塔能够降低癌症发病率。

在这两个例子中,我们都遇到了同样的问题。如果使用数据去编造理论(少年棒球联合会球场会导致癌症,水塔则会降低癌症发病率),数据肯定会支持理论。

如果我们仅仅研究那些勇于编造理论的数据,就无法准确地严重一项理论。我们需要大量随机的新数据。巧合带来的相关性是均值回归效应的一种极端例子,因为如果用新数据检验理论,那些机缘巧合的观察结果将会灰飞烟灭。

实验者,对照组(P132)

测量错误、人体的自愈功能、安慰剂效应以及报喜不报忧的心态,所有这些因素叠加在一起,使得我们无法确定一种医学疗法是否有效。如果我们能够亲眼观察那些没有接受上述疗法的患者,将理论上和实际出现的情况进行对比,问题将迎刃而解。

一项正规的研究应该包括接受目标疗法的实验组和没有接受目标疗法的对照组。在实验中,对照组会获得一种看起来与目标疗法类似但没有医学价值的安慰剂。

在一个例子中,一个实验小组招募了548名自认为特别容易感冒的大学生,在他们身上试用了一种用于治疗普通感冒的疫苗。半数受试者(实验组)注射了目标疫苗,另一半受试者(即对照组)只是注射了生理盐水。实验组反馈的结果是,与去年相比73%的受试者患感冒的概率明显下降;但在对照组中,63%的受试者也反馈了同样的结构。实验进行的实际并不是感冒的高发季节,疫苗带来的心理安慰也许起到了一定效果。学生们报告自己的患病概率下降,也许似乎因为他们认为这是实验人员想要的结果。

如果没有对照组,实验人员很可能会认为,这个疫苗创造了奇迹。有对照组进行对比,他们才确定该疫苗没有什么效果。

另一个例子似乎1971年进行的一项研究,该研究发现,患有膀胱癌的人比未患膀胱癌的人更喜欢喝咖啡,因此得出结论:咖啡导致了膀胱癌。然后,另一个具有混淆性的事实是,喜欢喝咖啡的人往往有吸烟的习惯。那么,究竟是咖啡还是香烟导致了膀胱癌呢?

医生不能在实验中强迫随机挑选的受试对象喝咖啡,同时却不允许其余的人喝。然而,他们能用统计方法来说明吸烟的混淆性影响。事实上,他们可以观察那些吸烟量相同,但饮用咖啡量不同的人,以及咖啡饮用量相同,但吸烟量不同的人。

双盲实验(P134)

当研究者清楚地知道实验正在进行,以及实验结果是什么时,就会因此受到影响,因为人们都希望新疗法能够有预期的疗效。为了鼓励受试对象及研究人员如实报告结果,精心设计的实验会采用双盲形式:只有等到所有数据收集完毕,受试对象喝实验人员才能知道谁属于实验组,谁属于对照组。

当我们对运气在生活中扮演的角色一知半解时,就会在没病的死或坏觉得自己有病,在治疗根本没有效果时看到治愈的可能。为了减少这种混淆,双盲测试便成了医学测试的黄金准则,在实验中,受试验对象将被随机分配到实验组和对照组。

锡标准(P136)

判断一项医学疗法是否真正有效的黄金准则是,实验中必须包含随机的对照组。

  1. 除了接受治疗的实验组之外,还有一个使用安慰剂的对照组。这样,我们就可以对比接受疗法的受试者与没有接受疗法的受试者之间的异同,而无需担心实验结果受到安慰剂效应或者人体自愈功能的影响。
  2. 受试者被随机分配到实验组和对照组,所以我们不必担心接受治疗的受试者与没有接受治疗的受试者会在生活习惯上有区别。
  3. 测试采用双盲形式,因此,实验人员不会因为知道谁在实验组或对照组而进行差别对待。研究结束后,统计分析师会继续跟进,分析随机情况下两组之间的实际差别是否与观察结果一直。多数实验人员认为,如果在随机情况下,实验组和对照组之间出现实际差别的可能性低于5%,这种可能性才具有统计学意义。

不幸的是,即使采取了上述预防措施,在医学实验中依然存在这诸多偏差。假设某种疾病在不采取治疗手段的情况下,10%的患者会因为自愈能力而显著好转。如果针对这种疾病的实验疗法并没有疗效,但是在偶然的情况下, 实验组中可能碰巧包含上述10%能够自愈的患者,对照组中可能碰巧包含90%不能自愈的患者。这样一来,这种没有疗效的疗法却似乎能够创造奇迹。

但是,受试的样本容量越多,我们就越不会被各种巧合误导。这就如同把一枚硬币抛两次,可能每次都是背面朝上;但如果抛1000次,背面朝上的概率可能就接近50%。可惜,很多医学实验的样本容量都很小,甚至某些大型医学实验的结果也具有误导性。

VII 商业

选秀、CEO和灵魂伴侣(P179)

曾经有一段时间,我在一所极其挑剔的大学担任招生委员会主席,因此我非常清楚,录取与否存在很大的随机因素。许多进入哈佛大学的人曾经被耶鲁大学拒绝,同样,许多敲开耶鲁大门的人却曾经被哈佛拒之门外。我最优秀的一名学生曾经申请了世界上最顶尖的10个经济学博士项目,排名第一的项目录取了他,排名第十的项目却拒绝了他。我联系了一个在后者共组偶的好朋友,告诉了他这件事。他并不惊讶,因为“录取过程中总是存在着各种干扰”。

因为运气在录取过程中扮演着重要的角色,我们可以自信地说,被各所学校精挑细选而录取的学生,就平均水平而言,并不像他们表现的那么好;当然,那些被拒绝的学生也并不像表面上看起来那么差。

大学以外的生活也是如此。当企业在决定是否雇佣一个人时,通常是基于不对称的信息。因此,人事决策中的均值回归效应尤为明显。简历、推荐信、面试提供的信息虽然有用,但并不完整。那些看上去万里挑一的人,可能并非名副其实。

一旦你决定承认某人的存在、雇佣某人,或者与某人发展一段认真的关系,就要提醒自己:发现对方不如预期那样好时,千万不要产生所谓的时候后悔。均值回归效应解释了,为什么篱笆另一边的草总是更绿一些,为什么亲密会催生憎恶。但请不要放弃你拥有的东西,因为均值回归效应还提示你,你想要的东西可能并不像它看起来那样好。没有什么是完美的,包括你自己!

VIII 预测

IX 投资

X 结论:陷阱与机遇

猜你喜欢

转载自blog.csdn.net/apr15/article/details/107027838