幸存者偏差
幸存者偏差(Survivorship bias),另译为“生存者偏差 ”或“存活者偏差”,是一种常见的逻辑谬误(“谬误”而不是“偏差”),意思是只能看到经过某种筛选而产生的结果,而没有意识到筛选的过程,因此忽略了被筛选掉的关键信息。这东西的别名有很多,比如“沉默的数据”、“死人不会说话”等等。简介
意思是指,当取得资讯之管道,仅来自于幸存者时(因为死人不会说话),此资讯可能会存在与实际情况不同之偏差。常见于财务金融领域之文章。
此情况常见于投资理财之节目或文章,例如当投资理财之电视节目仅邀请投资成功者上节目谈论其成功投资之经验,观众会将该成功投资者投资之方式,视为高成功率之投资方式,但观众并不会在电视节目看到以相同或类似投资方式,但最后失败的投资者,因而高估此投资方式之成功机率。
空战的例子
简单介绍:
简单来说,专家根据返航飞机翼部和尾部等位置中弹最多的特点,判断出,如果要强化飞机装甲,应该强化翼部和尾部。但如果仅仅根据返航的飞机上的弹孔分布,来研究该加强飞机的哪部分时,就忽略掉了“飞机被击落”这个筛选的过程。也就是说,能返航的飞机都是躲过防空炮火筛选的、没有受过致命伤的。他们多中弹于翼部和尾部,而油箱和驾驶员仓位完好,这恰恰说明翼部和尾部不是致命伤,不应该加强;而油箱和驾驶员仓位受伤的飞机,基本没有活着回来的,因此油箱和驾驶员仓位才是真正致命的地方,这些部位受伤的飞机却因为被击落而被筛出研究样本,从而变成了“不会说话的死人”,或“沉默的数据”。
详细故事:
1941年,第二次世界大战正打得如火如荼。
有一天,美国哥伦比亚大学著名统计学 家沃德 教授(Abraham Wald)
遇到了一个意外的访客, 那是英国皇家空军的作战指挥官。
他说:「 沃德教授,每次飞行员出发去执行轰炸任务,
我们最怕听到的回报是: 『呼叫总部,我中弹了!』
请协助我们改善这个攸关飞行员生死的难题吧!」
沃德接下这个紧急研究案,他受委托分析德国地面炮火击中联军轰炸机的资料,并且
以统计专业,建议机体装甲应该如何加强,才能降低被炮火击落的机会。但依照当时的
航空技术,机体装甲只能局部加强,否则机体过重,会导致起飞困难及操控迟钝。
沃德将联军轰炸机的弹着点资料,描绘成两张比较表,
沃德的研究发现,机翼是最容易被击中的部位,
而飞行员的座舱与机尾,则是最少被击中的部位。
沃德详尽的资料分析,令英国皇家空军十分满意。
但在研究成果报告的会议上,却发生一场激辩。
负责该项目的作战指挥官说:「沃德 教授的研究清楚地显示,联军轰炸机的机翼,
弹孔密密麻麻,最容易中弹。因此,我们应该加强机翼的装甲。」
沃德客气但坚定地说: 「将军,我尊敬你在飞行上的专业,
但我有完全不同的看法,我建议加强飞行员座舱与机尾发动机部位的装甲,因为那儿
最少发现弹孔。」
在全场错愕怀疑的眼光中,沃德解释说:「我所分析的样本中,只包含顺利返回基地
的轰炸机。
从统计的观点来看,我认为被多次击中机翼的轰炸机, 似乎还是能够安全返航,而飞
机很少发现弹着点的部位,并非真的不会中弹,
而是一旦中弹,根本就无法返航。」指挥官反驳说:
「我很佩服沃德教授没有任何飞行经验,就敢做这么大胆的推论,就我个人而言,过
去在执行任务时,也曾多次机翼中弹严重受创,要不是我飞行技术老到,运气也不错,
早就机毁人亡了,所以,我依然强烈主张应该加强机翼的装甲。」这两种意见僵持不
下,皇家空军部部长陷入苦思。
他到底要相信这个作战经验丰富的飞将军, 还是要相信一个独排众议的统计学家?
由于战况紧急,无法做更进一步的研究,部长决定接受沃德的建议,立刻加强驾驶舱
与机尾发动机的防御装甲。不久之后,联军轰炸机被击落的比例,果然显著降低。为了
确认这个决策的正确性,一段时间后,英国军方动用了敌后工作人员,搜集了部份坠毁
在德国境内的联军飞机残骸,他们中弹的部位,果真如沃德所预料,主要集中在驾驶舱
与发动机的位置。
看不见的弹痕最致命
乍看之下,作战指挥官加强机翼装甲的决定十分合理, 但他忽略了一个事实:弹着点
的分布,是一种严重偏误的资料。
因为最关键的资料,其实是在被击落的飞机身上,
但这些飞机却无法被观察到,因此,布满了弹痕的机翼,反而是飞机最强韧的部位。
空军作战指挥官差点因为太重视「看得见」的弹痕,反而做出错误的决策。
这个案例有两个特别值得警惕的地方。
死掉或被俘的人无法发表意见
第一, 搜集更多资料,并不会改善决策品质。 由于弹痕资料的来源本身就有严重的
偏误,努力搜集更多的资料,恐怕只会更加深原有的误解。
第二,召集更多作战经验丰富的飞行员来提供专业意见,也不能改善决策品质,因为
这些飞行员,正是产生偏误资料过程中的一环。他们都是安全回航的飞行员,虽然可能
有机翼中弹的经验,但都不是驾驶舱或发动机中弹的「烈士」。
简单的说, 当他们愈认真凝视那些「看得到」的弹痕,他们离真相就愈远。
信息界有所谓「Garbage In, Garbage Out」,
前提(或假设)若是错误,再漂亮的统计算式或方法、再多的资料,也不能让后面的
推论变得正确。
在管理实务与日常生活中,许多关键的资料, 也像上述轰炸机的个案一样,会因为
「失败」而观察不到。
空战例子的引申含义:
1,在大样本下,幸存者出现的概率*基数而大幅提升,而此时幸存(成功)会被认为是幸存者的个人能力或和失败者的差异而导致的必然结果
2,基于上一条,对于幸存者的错误评估,会导致“成功者有更大概率在之后获得成功”的误解
第一条的例子如下:
假设我们有一个公平证券交易市场,其投资风险和收益相当,只需进行普通的买卖
那么,我雇佣512只猴子,给他们两个按钮,一个买,一个卖,让他们每天随机乱按——每年检查一次猴子们的收益,将赔本的剔除出工位,只保留那些盈利的。
于是,第二年我还有256只猴子,第三年128只,第四年64只,第五年32只
这32只猴子只是“幸存者”,可是,我们通常会给他们带上“成功人士”的标签,事实往往如此。
如果将证券市场的环境改为“抽牌比大小的赌场”或者类似的环境,很奇怪,这32只猴子只配得到“幸运儿”的头衔。
而接下来,就是对32只猴子的采访,对他们宗教信仰,生活方式,饮食结构,作息规律,哦对,还有按下买卖按钮的规律的总结,并且结册为“成功人士所必备的xx个习惯”的名字,翻译成32种文字,大卖500万本。
第二条的例子如下:
如果你现在要进入上述证券交易市场,将自己的资金委托给一些投资管理人进行管理,你会选择“今年进入市场还未取得成绩的512只猴子之一“还是”已经连续5年取得优异成绩的32只猴子“之一呢?如无意外,都是后者
如果将环境换成赌场,你会相信连赢5把21点的赌客留下的位置会带给你好运而取得更大的胜率概率吗?不,我想不会
案例摘自纳西姆先生的书,他的这本书和《黑天鹅》据我在期货界的朋友说,都是被普遍获得肯定和好评的(虽然里面最多讽刺的就是金融和证券业界的人)
而罗尓夫先生告诉我们这样一段话:(摘自”你应该多逛逛墓地“条目)
如果你本身就是“幸存者”的一分子,幸存偏误就非常麻烦了。哪怕你的成功纯属偶然,你也会发现你与其他成功者的共同点,并将它们诠释为“成功因素”。不过在逛失败者 (人员、公司等)的墓地时你会发现,这些人经常也运用了他们以为的“成功因素”。
所以,我不是说成功都一定靠运气,而是人们因为幸存者偏差而极大地低估了运气在成功中所占的比重——就算克隆出1024个乔布斯,扔到世界各地不同行业中去,能取得成功的可能也只有1个,所以成功的因素是环境造就,而往往非个人能力决定。
更多举例
台大 刘顺仁 教授在著作《决胜》一书中, 对「存活者偏差(survivorship
bias)」举例说明,是我读过的书中最生动贴切又清楚的一个。如果有一位70岁的老人
在电视上说,
他就是靠每天抽一包烟、嚼一包槟榔才能长寿, 请想起「死人没法上电视说话」这件
事。
同样的道理,不是那个地方长寿的老人家吃或喝某东西, 某东西就是养生圣品。
再看一个骗钱的例子(这已经进化到E-mail版)
1月2日你接到一封匿名信, 向你表示,这个月市场会上涨,结果市场果然上涨,但你
不以为意,因为大家都知道有元月效应这回事
(历年来一月间股价涨多跌少)。
到了 2月1日,你又接到另一封信,向你表示,市场将下跌。这一次,又给那封信说中
了。
3月1日再接到一封信,情形一样。7月,你对那位匿名人士的先见之明很感兴趣,对方
邀你投资某个海外基金。
于是你把全部的储蓄拿出来投资, 两个月以后,那些钱有如肉包子打狗,一去不回。
你伏在邻居的肩膀上嚎啕大哭,他告诉你,他也接过两封这种神秘信,但寄到第二封
就停了。
他说,第一封信的预测正确,但第二封不正确。
这是怎么一回事?
那些骗子玩的把戏是,他们从电话簿找出一万个人名,寄出后市看涨的信给其中一半
的人, 后市看跌的信给另一半的人。
一个月后,将有五千人接到的信预测正确, 然后再针对这五千人如法炮制。
再一个月后,剩下二千五百人接到的信预测正确, 如此直到名单上剩下五百人,其中
会有两百人受骗上当,
因此骗子只要花几千美元的邮资,便可赚进数百万美元。
把手法作些改变。
某骗子假装投顾老师招收会员,跟你说你可以先加入一般会员,等你觉得准了再加入
VIP会员。这改变更巧妙的地方在于,骗子一开始就能赚到钱,此外VIP会员还会帮骗子
建立口碑,证明骗子有多准:存活者偏差(survivorship bias)。
只要信息不流通, 其它人不知道这假的投顾老师有多么(不)准。
如果仅仅通过研究大学生来探究高中教育的问题,那就忽略了高考这个筛选器:没有通过高考、没有考上大学的人,他们才是在高中教育真正出现问题的人,而他们不在大学生的研究样本中。
页:
[1]