科学网-我理解的统计思维-王伟的博客
有三种谎言:谎言、该死的谎言和统计数字。
由于马克·吐温的高人气，这句话在他说出来后广为流传。
大家都学了很多年数学。当然，我们要学习数学的一个原因是，我们在生活和职业中会用到一些数学，也就是说，数学可以看作是一种工具。一个精通数学的人，往往具有逻辑性强、计算准确的特点。统计呢？
一方面，统计现在变得越来越重要。人在做决策的时候，一定要有统计数据，把统计数据当成护身符。与此同时，也有像马克·吐温这样对统计数据嗤之以鼻的人。甚至在学术界，很多人认为统计学只是数学的一部分；但是更多的统计学家认为并反复强调统计学和数学是完全不同的。
可能我们更容易感受到什么是经济头脑，什么是文学细胞，什么是音乐素养。那么什么是统计头脑呢？统计细胞？和统计素养？要说清楚并不容易。本文试图通过对统计思维方式的阐释来谈一谈上述问题。
1，正确认识统计思维的重要性
我们先来看一个例子。1985 165438+10月，美国学者加里·泰勒在英国牛津大学的图书馆里发现了一首诗(姑且称之为“泰勒的诗”)，引发了英美研究莎翁文学作品的学者们的口水战。争论的焦点是这首诗是否是莎士比亚写的。
许多专家认为，这首“泰勒诗”在遣词造句和韵味上都不同于莎士比亚的其他作品。争论发生两个月后，10月24日出版的《科学》杂志65438+65438，0986发表了一篇名为《莎士比亚的新诗:统计的颂歌》的文章，介绍了两位统计学家埃夫隆和西斯泰德是如何用统计学的方法来鉴定这首“泰勒诗”是否是莎士比亚所写。
Efron和Thisted的方法如下:每个人都有自己的使用习惯，特别是对于生僻字，每个作者的使用习惯可能更不一样。在莎士比亚已知的作品中，* *有884647个词，包括31534个不同的词。在这些不同的词中，14376个词从头到尾只出现了1次，4343个词只出现了两次。出现几次的词都算。那些在总作品中出现频率较低的生僻字，就是莎士比亚的生僻字。根据这些数据，假设这首***429字的《泰勒诗》是莎士比亚写的，他们估计会有几个字在总作品中从未出现过(也就是新词)，只出现了1次，两次，……，直到出现了99次，给出了所有的估计值。实际情况与估计很一致。
这还不够。会不会是各个时代的诗人都有类似的用词习惯？所以，这两个人找了三个和莎士比亚大致同时代的诗人，每个人拿了一首诗，和另外四首莎士比亚的诗，和这首泰勒的诗做比较。经过三种统计检验，发现如果假设前三首歌都是莎士比亚的作品，那么生僻字出现频率的实际值和估计值并不一致。所选的四首莎士比亚诗歌，虽然偶尔有不一致的地方，但总体上是可以接受的。Efron和Thisted表示，他们的分析并不能完全证明《泰勒诗》是莎士比亚写的，但生僻字的使用与莎士比亚的全部作品如此一致，确实令人惊讶。
在统计学家发表意见后，一场文学争议很快平息了。难怪我们要向统计致敬。用统计方法做决策，体现了一种客观合理的思维。最好用客观的统计方法来判断是否与主观的辩论风格相同。但是什么才够客观呢？Efron和Thisted除了只测试泰勒的诗，还对比了几位莎士比亚同时代的诗人，哪个更稳妥。万一莎士比亚时期的诗人也有类似时尚等生僻字的使用习惯，这个测试就没有参考价值了。
统计和我们的思维一样，首先是客观的，否则就是自欺欺人。相反，如果我们的思维是统计学的，那它就是极其客观的。
英国剑桥大学教授威廉·j·萨瑟兰(William J. Sutherland)在2013期《自然》杂志上发表了一篇文章，题为《解读科学观点时应该知道的20个事实》。看了之后发现里面提到的科学事实都和统计思维有关。
统计学是现代科学研究中最重要的工具之一。英国著名生物学家高尔顿曾说:“统计学具有处理复杂问题的非凡能力。当科学探索者在前进的过程中举步维艰时，只有统计才能帮助他们打开一条通道。”在利用科研结论辅助现实决策时，必须具备良好的统计思维，才能对科学结论保持清醒的认识，更准确地解读其背后的科学真相。
大数据时代从信息短缺变成了信息泛滥，信息短缺的危机让位于信息筛选的困难。在这种背景下，科学方法成了每个人的必修课。在越来越依赖数据的今天，只有树立正确的统计思维，才能有效地进行数据处理和分析。今天，世界正在进入信息爆炸的大数据时代，统计变得越来越重要，这验证了英国科幻作家H·G·威尔斯的预言:“统计思维总有一天会成为一个高效公民的必备能力，就像阅读和写作一样。”
统计学广泛应用于各个学科，从自然科学到人文社会科学，甚至工商、政府的信息决策。作为理解自然和社会的工具和手段，对客观现象的数量关系进行统计研究，帮助决策者理解科研证据在决策中的作用。正如现代统计学创始人费希尔所说，“20世纪带给人类进步的独特方面是统计学。统计学的普遍存在及其在开拓新知识领域中的应用远远超过了20世纪的任何技术或科学发明。”
马寅初曾说:“学者没有统计就不能研究，实业家没有统计就不能实践，政治家没有统计就不能执政。”统计思维是在获取数据、从数据中提取信息、论证结论可靠性的过程中的一种思维方式，对提高人类认知有很大作用。统计思维在解决自然之谜的科学调查中，在考察早期佚名文学作品的作者中，在给出考古文物的年代表中，在解决法庭纠纷中，在做出最佳决策中，都发挥着不可替代的作用。
统计学是一门从经验到理性的学问，是一门运用偶然发现规律的科学。它不仅仅是一种方法或技术，还包含了世界观的元素——看待世间万千事物的一种方式。这就是人们从统计学的角度谈论事物的样子时通常所指的。统计思维的培养不仅需要学习一些具体的指令，而且能够从发展的角度把这些指令连接成一个有机的、清晰的画面，获得历史感。正如德国石勒苏益格曾经说过的，“统计是动态的历史，历史是静态的统计。”
从统计学的角度来看，人们从经验或实验中获得的知识包含着不确定性。统计学侧重于测量包含在这些知识中的不确定性。不确定性一旦可以测量，人的知识面就会扩大，对世界的认识就会飞跃。这个过程在人类知识积累的过程中不断重复。难怪有人总结道:
归根结底，一切知识都是历史:我们现在所拥有的知识，是对过去所发现的事物的总结和推导；
在抽象意义上，一切科学都是数学:一切知识都可以概括为数学的推理和运算；
在理性的基础上，所有的判断都来自于统计:所有的判断都是对过去规律的总结，也就是根据过去数据的概率模型来判断未来的趋势。
2.什么是统计思维及其常用方式？
首先，我们来看看统计在做什么。
从随机性中发现规律性，这是统计学的基本思想，也是统计学的魅力所在。
简单来说，统计学表达的两个核心概念是:
我们中学学过的大部分知识都是关于必然性的。当它说1就是1的时候，不会有错误。而一个命题一旦被证明是对的，问题就永远是对的，没有例外，除非你能找出证明中的漏洞。在统计学中，随机无处不在。它允许错误，没有错误就让人怀疑有假。统计学也会保证一个问题，但是它的保证是基于概率形式的。而且保证概率不是100%，有误差。统计数据充满了“不确定性”。比如声称一款饮料95%的容量在425ml到431ml之间，就是典型的统计保证。统计学代表了一种看待世界的方式。
在随机的世界里，真相往往难以得知，一切都是假设，就看你愿意接受哪一个。接受的意思，就像婚礼上新娘点头说“我愿意”，并不代表新郎真的是最适合她的。只是“她目前愿意接受”同样，在统计学中，接受不代表真，拒绝不代表假。统计学家的判断总会给出误差，这是在允许误差下的统计推断。
概率和误差构成了统计思维的两大支柱。并且展示了几乎所有统计学上的关键点。
统计学中的方法与人们的思维方式有一定的对应关系。我们来列举一下统计学中常见的思维方式。
(1)善于运用数据。
“数据！数据！数据！”他令人印象深刻地哭了。“没有粘土我做不出砖。”这是著名小说中夏洛克·福尔摩斯说过的一句话。
没有规则就没有方圆，没有粘土就没有砖墙，没有数据就没有决策。
福尔摩斯可以从凶案现场的一些线索推断出嫌疑人可能是左撇子，也可能经过一个果园。算命师也依赖信息。收集了很多不同的面相和八字的命运。读者多了，自然就容易根据人的面相来分析未来。善于看透人性的人不也是博览群书吗？做决策需要数据，每一个数据都可能是有用的信息。统计人员要想发挥技能，就必须善用信息。所以对于统计学家来说，数据就像老鼠爱吃的米饭。
(2)善于捕捉不确定性。
宇宙的运行是必然性和随机性交织在一起的。比如我们知道哈雷彗星每76年接近地球一次(这是必然的)。虽然我们可以知道76年后会发生什么，但是明天会下雨吗？不那么确定(随机性)。再比如松开手里的硬币，中学物理课学的。如果忽略空气阻力，硬币落地所需的时间在固定高度是一个固定值。但是落地之后，哪边朝上？它是不可预测的。这就是不确定性。
人们大致知道未来会发生什么，如何发生，但不能完全把握。在随机的世界里，必然性让人愿意提前做好准备，而不确定性让人对未来充满希望或恐惧。一个有必然性的世界，没有变化，对未来缺乏希望，会让人失去努力的动力。在一个随机的世界里，单靠运气会让人失去积极认真的决心。三分注定，五分靠努力，两分靠运气。这是造物主伟大的设计。
因为不确定性的存在，我们所能做的就是去理解它，并经常努力减少这些不确定性。所以我们的祖先针对随机世界总结了一些所谓的规则来应对这样的不确定性。比如大数定律，另一个重要的随机定律是中心极限定理。
在统计学中进行预测和估计，实质上就是进行概括。以偏概全是统计学家的本事。
(3)有相信概率的思维。
数学家皮埃尔·西蒙·拉普拉斯曾经说过，“生活中大多数最重要的问题都只是概率问题”。在随机的世界里，概率这个词朗朗上口，但很少有人真正理解概率的含义。
概率的意义是什么？当我们掷骰子，或抽签时，我们通常用“同样的可能性”来解释概率。也就是骰子的六个面，每个面的概率被认为是6中的1。这个解释在日常生活中相当适用。当没有其他信息时，通常假设每一个可能的结果都有相同的概率。
第二种方式是用相对频率来解释概率。举个例子，如果一个职业篮球运动员过去的投篮命中率是0.527，那就意味着这个球员在下一次投篮时的投篮命中率大概是0.527。这种常见的概率解释是比较客观的。背后的理论基础是大数定律。对于现象，可以反复观察。
最后一种方式是主观概率。比如巴西在世界杯夺冠的概率，追到一个女生等等都是主观概率。这些事件不能重复观察，而且是一次性的。
概率的上述三种解释有时会互换使用或相互验证。
有小概率事件。你一开始认为不可能的事情，只要你观察的次数足够多，就会发生。有人称之为真正的大数定律。当小概率遇上大样本，就不会太意外了。在一个随机的世界里，相信概率，而不是挑战它。
(4)有合理的估算思维。
从前，有个卖油条的小孩。他总是把卖的钱都放在一个装满油条的篮子里。有一天，由于急事，我把篮子放在一块大石头上，去上厕所。当我后来回来时，真是晴天霹雳，篮子里的钱都不见了。他流着泪跑去告诉县长。县令听后，叫人把石头搬来审问。尽管受到多次威胁，斯通什么也没说。县令大怒，叫人用棍子打石头。只是就算棍子断了，石头还是不说话。大家看了都笑了。县令更生气了，罚围观者每人两个铜钱，扔进一个盛满水的盆子里。突然，县令指着一个人说:“偷钱的人就是你。”那人哭诉不公，大家都很不解。县令解释道:“那孩子卖油条，他的钱沾了油。别人的钱扔到水里，没有油浮上来。只有这个人把钱扔到水里后，有油浮上来，才说明这个人偷了钱。”那人低头告白，众人心服口服。
这种县长判断的智慧，类似于老师先问最调皮的学生的原则:从几种可能中选择时，优先考虑最可能的情况。会有错误吗？当然会。就因为他口袋里的钱有油，你就认为他偷了卖油条的孩子的钱？如果有人收到卖油条的找零，不是沾了油吗？
然而，人们在做出选择时经常使用的这种方法是有效的。从统计思维的角度来说，就是著名的最大似然法，按照发生概率最大的一个来确定估计值。这种方法有许多好的性质，而且常常能得到好的估计量。
美国NBA职业篮球赛，各队互有胜负，很难说哪个队最强。在常规比赛中，每支球队要打82场比赛，各区胜率最高的8支球队可以打季后赛。所谓胜率，就是赢的游戏数除以游戏数。为了保持比赛的可看性，NBA有选秀机制，这样各队实力不会相差很大。有时候整个赛季的胜者胜率不到60%。根据一个赛季多场比赛后的胜率来决定今年谁更强，能不能参加季后赛，这是职业足球比赛的惯例。再比如，经常采用估算手术成功概率和生三胞胎概率的思路。
随着统计学的发展，关于这种估计方法，有数百种学派在争论。这些合理的估算方法往往各有优势，适用于某些场合，没有一种方法永远是最好的。比如有时候我们认为一个区间可以更清晰的描述出来，就是著名的置信区间估计法。
(5)要有假设检验思维，认为没有疑问。
人们常常寻求公平或正义。以一个简单的两个人分享的蛋糕为例。如果双方都不想拿的更小，有什么好的分摊方式？这应该是一个让我们两个都不觉得被骗的方法。即使是为了谁切，也最好抽签。万一选举党觉得他收入过半，而切割党觉得他收入只有一半。
疑罪从无类似于无推定原则的你中选我，属于一种能让控辩双方都觉得更公平的判决方式。
1933年，波兰的内曼和英国的皮尔逊给出了著名的内曼-皮尔逊引理，确立了统计学中的无罪推定原则，即假设检验。
英语中的假说源自古希腊语hypotithenai，科学假说(或假说理论)也是这个词。在数学中，我们经常证明一个命题是真还是假。但在随机世界里，很多现象只能算是假设，就看哪个更愿意接受了。接受不代表你完全相信假设是真的，拒绝不代表假设是假的。统计学中的假设，经过验证后，无论接受哪个假设，都不能使其成为规律，假设永远是假设。
3.结束语
陈喜儒先生在《数理统计简史》的序言中说:“统计学不仅是一种方法或技术，还包含世界观的元素——它是一种看待世界上一切事物的方法。这就是我们常说的从统计学角度看事物的样子。但是统计思想也有一个发展过程。因此，统计思想(或观点)的培养不仅需要学习一些具体的知识，还需要从发展的角度把这些知识有机地、清晰地联系起来，获得历史感。”
统计思维的建立不是一蹴而就的。如果说有什么诀窍的话，那就是学习练习，再学习练习，再继续学习练习。
参考资料: