正态分布的前世此生(上)（转载）

时间 2019-11-19

标签正态分布前世此生转载繁體版

原文原文链接

转载自：https://cos.name/2013/01/story-of-normal-distribution-1/web

神说，要有正态分布，就有了正态分布。
神看正态分布是好的，就让随机偏差服从了正态分布。
创世纪—数理统计算法

1. 正态分布，熟悉的陌生人框架

学过基础统计学的同窗大都对正态分布很是熟悉。这个钟形的分布曲线不但形状优雅，它对应的密度函数写成数学表达式dom

f (x) = 1 2 π--\sqrt σ e - ( x - μ ) 2 2 σ 2

也很是具备数学的美感。其标准化后的几率密度函数机器学习

f (x) = 1 2 π--\sqrt e - x 2 2

更加的简洁漂亮，两个最重要的数学常量 $π$ ide

正态分布曲线函数

正态分布又一般被称为高斯分布，在科学领域，冠名权那是一个很高的荣誉。2002年之前去过德国的兄弟们还会发现，德国1991年至2001年间发行的的一款10马克的纸币上印着高斯(Carl Friedrich Gauss, 1777-1855)的头像和正态密度曲线，而1977年东德发行的20马克的可流通记念钢镚上，也印着正态分布曲线和高斯的名字。正态分布被冠名高斯分布，咱们也容易认为是高斯发现了正态分布，其实否则，不太高斯对于正态分布的历史地位的确立是起到了决定性的做用。学习

德国马克和记念币上的高斯头像和正态分布曲线atom

正态曲线虽然看上去很美，却不是一拍脑壳就能想到的。咱们在本科学习数理统计的时候，课本一上来介绍正态分布就给出分布密度函数，却历来不说明这个密度函数是经过什么原理推导出来的。因此我一直搞不明白数学家当年是怎么找到这个几率分布曲线的，又是怎么发现随机偏差服从这个奇妙的分布的。咱们在实践中大量的使用正态分布，却对这个分布的前因后果知之甚少，正态分布真是让人感受既熟悉又陌生。直到我读研究生的时候，个人导师给我介绍了陈希儒院士的《数理统计学简史》这本书，看了以后才了解了正态分布曲线从发现到被人们重视进而普遍应用，也是通过了几百年的历史。spa

正态分布的这段历史是很精彩的，咱们经过讲一系列的故事来揭开她的神秘面纱。

2. 邂逅，正态曲线的首次发现

第一个故事和几率论的发展密切相关，主角是棣莫弗(Abraham de Moivre, 1667-1754) 和拉普拉斯 (Pierre-Simon Laplace 1749-1827)。拉普拉斯是个大科学家，被称为法国的牛顿；棣莫弗名气可能不算很大，不过你们应该都应该很熟悉这个名字，由于咱们在高中数学学复数的时候都学过棣莫弗公式

(cos θ + i sin θ) n = cos (n θ) + i sin (n θ) .

而棣莫弗所写的《机遇论》（The doctrine of chances）是几率论发展历史中很重要的一本书。牛顿对棣莫弗十分欣赏,遇到学生向他请教几率方面的问题时，他就说：“这样的问题应该去找棣莫弗，他对这些问题的研究比我深刻得多。”

棣莫弗和拉普拉斯

古典几率论发源于赌博，惠更斯(Christiaan Huygens, 1629-1695)、帕斯卡(Blaise Pascal, 1623-1662)、费马(Pierre de Fermat, 1601-1665)、雅可比·贝努利(Jacob Bernoulli, 1654-1705)都是古典几率的奠定人，他们那会研究的几率问题大都来自赌桌上，最先的几率论问题是赌徒梅累在1654年向帕斯卡提出的如何分赌金的问题。统计学中的整体均值之因此被称为指望 (Expectation), 就是源自惠更斯、帕斯卡这些人研究平均状况下一个赌徒在赌桌上能够指望本身赢得多少钱。

有一天一个哥们，也许是个赌徒，向棣莫弗提了一个和赌博相关的问题：A、B 两人在赌场里赌博，A、B各自的获胜几率是 $p, q = 1 - p$

问题并不复杂，本质上是一个二项分布，若 $n p$

2 n p q b (n, p, n p)

其中 $b (n, p, i) = (\binom{n}{i}) p^{i} q^{n - i}$

与此相关联的另外一个问题，是听从二项分布的随机变量 $X \sim B (n, p)$

对于 $p = 1 / 2$

n! \approx 2 π n---\sqrt (n e ) n .

事实上斯特林公式的雏形是棣莫弗最早获得的，但斯特林改进了这个公式，改进的结果为棣莫弗所用。1733 年，棣莫弗很快利用斯特林公式进行计算并取得了重要的进展。考虑 $n$

b (n, 1 2 , i ) = ( n i ) ( 1 2 ) n

如下把 $b (n, \frac{1}{2}, i)$

b (n 2 ) \approx 2 π n---\sqrt ,

$b (n, \frac{1}{2}, i)$

b ( n 2 + d ) b ( n 2 ) \approx e - 2 d 2 n ,

$b (n, \frac{1}{2}, i)$

b (n 2 + d ) \approx 2 2 π n---\sqrt e - 2 d 2 n .

$b (n, \frac{1}{2}, i)$

P (∣∣∣ X n - 1 2 ∣∣∣ \leq c n--\sqrt ) = \approx

看，正态分布的密度函数的形式在积分公式中出现了！这也就是咱们在数理统计课本上学到的一个重要结论：二项分布的极限分布是正态分布。

以上只是讨论了 $p = 1 / 2$

[棣莫弗-拉普拉斯中心极限定理]设随机变量 $X_{n} (n = 1, 2, \dots)$

lim n \to \infty P (X n - n p n p ( 1 - p )--------\sqrt \leq x ) = \int x - \infty 1 2 π--\sqrt

咱们在大学学习数理统计的时候，学习的过程都是先学习正态分布，而后才学习中心极限定理。而学习到正态分布的时候，直接就描述了其几率密度的数学形式，虽然数学上很漂亮，可是容易困惑数学家们是如何凭空就找到这个分布的。读了陈希孺的《数理统计学简史》以后，我才明白正态分布的密度形式首次发现是在棣莫弗-拉普拉斯的中心极限定理中。数学家研究数学问题的进程不多是按照咱们数学课本编排的顺序推动的，现代的数学课本都是按照数学内在的逻辑进行组织编排的，虽然逻辑结构上严谨优美，却把数学问题研究的历史痕迹抹得一干二净。DNA 双螺旋结构的发现者之一詹姆斯·沃森(James D. Watson, 1928-) 在他的名著《DNA 双螺旋》序言中说：“ Science seldom proceeds in the straightforward logical manner imagined by outsiders. （科学的发现不多会像门外汉所想象的同样，按照直接了当合乎逻辑的方式进行的。）”
棣莫弗给出他的发现后40年（大约是1770年），拉普拉斯创建了中心极限定理较通常的形式，中心极限定理随后又被其余数学家们推广到了其它任意分布的情形，而不限于二项分布。后续的统计学家发现，一系列的重要统计量，在样本量 $N$

棣莫弗在二项分布的计算中瞥见了正态曲线的模样，不过他并无能展示这个曲线的美妙之处。棣莫弗的这个工做当时并无引发人们足够的重视，缘由在于棣莫弗不是个统计学家，从未从统计学的角度去考虑其工做的意义。正态分布(当时也没有被命名为正态分布) 在当时也只是以极限分布的形式出现，并无在统计学，尤为是偏差分析中发挥做用。这也就是正态分布最终没有被冠名棣莫弗分布的重要缘由。那高斯作了啥工做致使统计学家把正态分布的这顶桂冠戴在了他的头上呢？这先得从最小二乘法的发展提及。

3. 最小二乘法，数据分析的瑞士军刀

第二个故事的主角是欧拉(Leonhard Euler, 1707-1783)、拉普拉斯、勒让德 (Adrien-Marie Legendre, 1752–1833) 和高斯, 故事发生的时间是18世纪中到19世纪初。1七、18 世纪是科学发展的黄金年代，微积分的发展和牛顿万有引力定律的创建，直接的推进了天文学和测地学的迅猛发展。当时的大科学家们都在考虑许多天文学上的问题，几个典型的问题以下：

土星和木星是太阳系中的大行星，因为相互吸引对各自的运动轨道产生了影响，许多大数学家，包括欧拉和拉普拉斯都在基于长期积累的天文观测数据计算土星和木星的运行轨道。
勒让德承担了一个政府给的重要任务，测量经过巴黎的子午线的长度。
海上航行经纬度的定位。主要是经过对恒星和月面上的一些定点的观测来肯定经纬度。

这些天文学和测地学的问题，无不涉及到数据的屡次测量、分析与计算；1七、18世纪的天文观测，也积累了大量的数据须要进行分析和计算。不少年之前，学者们就已经经验性的认为，对于有偏差的测量数据，屡次测量取算术平均是比较好的处理方法。虽然缺少理论上的论证，也不断的受到一些人的质疑，取算术平均做为一种异常直观的方式，已经被使用了千百年, 在多年积累的数据的处理经验中也获得至关程度的验证，被认为是一种良好的数据处理方法。

以上涉及的问题，咱们直接关心的目标量每每没法直接观测，可是一些相关的量是能够观测到的，而经过创建数学模型，最终能够解出咱们关心的量。这些问题均可以用以下数学模型描述：咱们想估计的量是 $β_{0}, \dots, β_{p}$

y = β 0 + β 1 x 1 + \dots + β p x p

如何经过多组观测数据求解出参数 $β_{0}, \dots, β_{p}$

⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪ y 1 = β 0 + β 1 x 11 + \dots + β p x p 1 y 2 = β 0 +

$β_{0}, \dots, β_{p}$

以上求解线性矛盾方程的问题在如今的本科生看来都不困难，这就是统计学中的线性回归问题，直接用最小二乘法就解决了。但是即使如欧拉、拉普拉斯这些数学大牛，当时也未能对这些问题提出有效的解决方案。可见在科学研究中，要想在观念上有所突破并不容易。有效的最小二乘法是勒让德在 1805 年发表的，基本思想就是认为测量中有偏差，因此全部方程的累积偏差为

累积偏差 = $\sum ($

咱们求解出致使累积偏差最小的参数

β^= = arg min β \sum i = 1 n e 2 i arg

勒让德

勒让德在论文中对最小二乘法的优良性作了几点说明：

最小二乘法使得偏差平方和最小，并在各个方程的偏差之间创建了一种平衡，从而防止某一个极端偏差取得支配地位；
计算中只要求偏导后求解线性方程组，计算过程明确便捷；
最小二乘法能够导出算术平均值做为估计值。

对于最后一点，推理以下：假设真值为 $θ$

L (θ) = \sum i = 1 n e 2 i = \sum i = 1 n (x i - θ) 2

求解 $θ$

因为算术平均是一个历经考验的方法，而以上的推理说明，算术平均是最小二乘法的一个特例，因此从另外一个角度说明了最小二乘法的优良性，使咱们对最小二乘法更加有信心。

最小二乘法发表以后很快获得了你们的承认接受，并迅速的在数据分析实践中被普遍使用。不过历史上又有人把最小二乘法的发明归功于高斯，这又是怎么一回事呢。高斯在1809 年也发表了最小二乘法，而且声称本身已经使用这个方法多年。高斯发明了小行星定位的数学方法，并在数据分析中使用最小二乘法进行计算，准确的预测了谷神星的位置。

扯了半天最小二乘法，没看出和正态分布有任何关系啊，离题了吧？单就最小二乘法自己，虽然很实用，不过看上去更多的算是一个代数方法，虽然能够推导出最优解，对于解的偏差有多大，没法给出有效的分析，而这个就是正态分布粉墨登场发挥做用的地方。勒让德提出的最小二乘法，确实是一把在数据分析领域披荆斩棘的好刀，可是刀刃仍是不够锋利；而这把刀的打造后来至少一半功劳被归到高斯，是由于高斯不但独自的给出了造刀的方法，并且把最小二乘这把刀的刀刃磨得无比锋利，把最小二乘法打形成了一把瑞士军刀。高斯拓展了最小二乘法，把正态分布和最小二乘法联系在一块儿，并使得正态分布在统计偏差分析中确立了本身的地位，不然正态分布就不会被称为高斯分布了。那高斯这位神人是如何把正态分布引入到偏差分析之中，打造最小二乘法这把瑞士军刀的呢？

4. 众里寻她千百度,偏差分布曲线的确立

第三个故事有点长，主角是高斯和拉普拉斯，故事的主要内容是寻找随机偏差分布的规律。

天文学是第一个被测量偏差困扰的学科，从古代至18世纪天文学一直是应用数学最发达的领域，到18世纪，天文学的发展积累了大量的天文学数据须要分析计算，应该如何来处理数据中的观测偏差成为一个很棘手的问题。咱们在数据处理中常用平均的常识性法则，千百来来的数据使用经验说明算术平均可以消除偏差，提升精度。算术平均有如此的魅力，道理何在，以前没有人作过理论上的证实。算术平均的合理性问题在天文学的数据分析工做中被提出来讨论：测量中的随机偏差应该服从怎样的几率分布？算术平均的优良性和偏差的分布有怎样的密切联系？

伽利略在他著名的《关于两个主要世界系统的对话》中，对偏差的分布作过一些定性的描述，主要包括：

观测数据存在偏差
偏差是对称分布的;
大的偏差出现频率低，小的偏差出现频率高。

用数学的语言描述，也就是说偏差分布的密度函数 $f (x)$

许多天文学家和数学家开始了寻找偏差分布曲线的尝试。天文学家辛普森(Thomas Simpson, 1710-1761) 先走出了有意义的一步。设真值为 $θ$

辛普森的偏差分布曲线

有以下结论

P (| e ¯¯¯ | < x) \geq P (| e i | < x) .

也就是说， $| \bar{e} |$

从 1772-1774 年，拉普拉斯也加入到了寻找偏差分布密度函数的队伍中。拉普拉斯假定偏差分布密度函数 $f (x)$

- f' (x) = m f (x)

由此可求得分布密度函数为

f (x) = m 2 e - m | x | . (4)

这个几率密度函数如今被称为拉普拉斯分布。

拉普拉斯的偏差分布曲线

以该函数做为偏差分布，拉普拉斯开始考虑如何基于测量的结果去估计未知参数的值。拉普拉斯能够算是一个贝叶斯主义者，他的参数估计的原则和现代贝叶斯方法很是类似：假设先验分布是均匀的，计算出参数的后验分布后，取后验分布的中值点，即 $1 / 2$

拉普拉斯但是几率论的大牛，写过在几率发展历史中极有影响力的《分析几率论》，不过以个人数学审美，实在没法理解拉普拉斯这样的牛人怎么找了一个零点不可导的函数做为偏差的分布密度函数，拉普拉斯最终仍是没能搞定偏差分布的问题。

如今轮到高斯登场了，高斯在数学史中的地位极高，年轻的时候号称数学王子，后来被称为数学家中的老狐狸，数学家阿贝尔 (Niels Henrik Abel, 1802-1829) 对他的评论是：“高斯像一只狐狸，用尾巴将沙地上的足迹抹去(He is like the fox, who effaces his tracks in the sand with his tail) 。” 咱们的数学大师陈省身把黎曼(Georg Friedrich Bernhard Riemann,1826-1866) 和庞加莱(Jules Henri Poincaré, 1854-1912)称为数学家中的菩萨，而称本身为罗汉；高斯是黎曼的导师，数学圈里有些教授把高斯称为数学家中的佛。在数学家中既能仰望理论数学的星空，又能脚踏应用数学的实地的可很少见，高斯是数学家中少有的顶”天“立”地“的人物，它既对纯理论数学有深入的洞察力，又极其重视数学在实践中的应用。在偏差分布的处理中，高斯以极其简单的手法确立了随机偏差的几率分布，其结果成为数理统计发展史上的一块里程碑。

高斯的介入首先要从天文学界的一个事件提及。1801年1月，天文学家朱塞普·皮亚齐 (Giuseppe Piazzi, 1746-1826)发现了一颗从未见过的光度8等的星在移动，这颗如今被称做谷神星（Ceres）的小行星在夜空中出现6个星期，扫过八度角后就在太阳的光芒下没了踪迹，没法观测。而留下的观测数据有限，难以计算出他的轨道，天文学家也所以没法肯定这颗新星是彗星仍是行星，这个问题很快成了学术界关注的焦点。高斯当时已是颇有名望的年轻数学家了，这个问题引发了他的兴趣。高斯以其卓越的数学才能创立了一种崭新的行星轨道的计算方法，一个小时以内就计算出了谷神星的轨道，并预言了他在夜空中出现的时间和位置。 1801年12月31 日夜，德国天文爱好者奥伯斯(Heinrich Olbers, 1758-1840)，在高斯预言的时间里，用望远镜对准了这片天空。果真不出所料，谷神星出现了！

高斯为此名声大震，可是高斯当时拒绝透露计算轨道的方法，缘由多是高斯认为本身的方法的理论基础还不够成熟，而高斯一贯治学严谨、精益求精，不轻易发表没有思考成熟的理论。直到1809年高斯系统地完善了相关的数学理论后，才将他的方法公布于众，而其中使用的数据分析方法，就是以正态偏差分布为基础的最小二乘法。那高斯是如何推导出偏差分布为正态分布的？让咱们看看高斯是如何猜想上帝的意图的。

设真值为 $θ$

L (θ) = L (θ; x 1, \dots, x n) = f (e 1) \dots f (e n) = f (

可是高斯不采用贝叶斯的推理方式，而是直接取使 $L (θ)$

θ^= arg max θ L (θ) .

$L (θ)$

数学家波利亚(George Pólya, 1887-1985)说过：“要成为一个好的数学家,……,你必须首先是一个好的猜测家(To be a good mathematician,…, you must be a good guesser)。”历史上一流的数学家都是伟大的猜测家。高斯接下来的想法特别牛，他开始揣度上帝的意图，而这充分体现了高斯的数学天才。高斯把整个问题的思考模式倒过来：既然千百年来你们都认为算术平均是一个好的估计，那我就认为极大似然估计导出的就应该是算术平均！因此高斯猜想上帝在创世纪中的旨意就是：

偏差分布导出的极大似然估计 = 算术平均值

而后高斯去找偏差密度函数 $f$

f (x) = 1 2 π--\sqrt σ e - x 2 2 σ 2

瞧，正态分布的密度函数 $N (0, σ^{2})$

进一步，高斯基于这个偏差分布的密度函数对最小二乘法给出了一个很漂亮的解释。对于最小二乘公式中涉及的每一个偏差 $e_{i}$

1 ( 2 π--\sqrt σ ) n exp { - 1 2 σ 2 \sum i = 1 n e 2 i } .

要使得这个几率最大，必须使得 $\sum_{i = 1}^{n} e_{i}^{2}$

高斯所拓展的最小二乘法成为了19世纪统计学的最重要成就，它在19世纪统计学的重要性就至关于18世纪的微积分之于数学。而勒让德和高斯的关于最小二乘法的发明权之争，成了数学史上仅次于牛顿、莱布尼茨微积分发明权的争端。相比于勒让德1805年给出的最小二乘法描述，高斯基于偏差正态分布的最小二乘理论显然更高一筹，高斯的工做中既提出了极大似然估计的思想，又解决了偏差的几率密度分布的问题，由此咱们能够对偏差大小的影响进行统计度量了。高斯的这项工做对后世的影响极大，而正态分布也所以被冠名高斯分布。估计高斯本人当时是彻底没有意识到他的这个工做给现代数理统计学带来的深入影响。高斯在数学上的贡献特多，去世前他是要求给本身的墓碑上雕刻上正十七边形，以说明他在正十七边形尺规做图上的杰出工做。然后世的德国钞票和钢镚上是以正态密度曲线来记念高斯，这足以说明高斯的这项工做在当代科学发展中的份量。

1七、18世纪科学界流行的作法，是尽量从某种简单明了的准则(first principle)出发进行逻辑推导。高斯设定了准则“最大似然估计应该导出优良的算术平均”，并导出了偏差服从正态分布，推导的形式上很是简洁优美。可是高斯给的准则在逻辑上并不足以让人彻底信服，由于算术平均的优良性当时更多的是一个经验直觉，缺少严格的理论支持。高斯的推导存在循环论证的味道：由于算术平均是优良的，推出偏差必须服从正态分布；反过来，又基于正态分布推导出最小二乘法和算术平均，来讲明最小二乘法和算术平均的优良性。这陷入了一个鸡生蛋蛋生鸡的怪圈，逻辑上算术平均的优良性到底有没有自行成立的理由呢？

高斯的文章发表以后，拉普拉斯很快得知了高斯的工做。拉普拉斯看到，正态分布既能够从抛钢镚产生的序列和中生成出来，又能够被优雅的做为偏差分布定律，这难道是偶然现象？拉普拉斯不愧为几率论的大牛，他立刻将偏差的正态分布理论和中心极限定理联系起来，提出了元偏差解释。他指出若是偏差能够当作许多微小量的叠加，则根据他的中心极限定理，随机偏差理所应当是高斯分布。而20世纪中心极限定理的进一步发展，也给这个解释提供了更多的理论支持。所以以这个解释为出发点，高斯的循环论证的圈子就能够打破。估计拉普拉斯悟出这个结论以后必定想撞墙，本身辛辛苦苦寻寻觅觅了这么久的偏差分布曲线就在本身的眼皮底下，本身却终年视而不见，被高斯占了先机。

至此，偏差分布曲线的寻找尘埃落定，正态分布在偏差分析中确立了本身的地位，并在整个19世纪不断的开疆扩土，直至在统计学中鹤立鸡群，傲世其它一切几率分布；而高斯和拉普拉斯的工做，为现代统计学的发展开启了一扇大门。

在整个正态分布被发现与应用的历史中，棣莫弗、拉普拉斯、高斯各有贡献，拉普拉斯从中心极限定理的角度解释它，高斯把它应用在偏差分析中，异曲同工。正态分布被人们发现有这么好的性质，各国人民都争抢它的冠名权。由于拉普拉斯是法国人,因此当时在法国被称为拉普拉斯分布；而高斯是德国人, 因此在德国叫作高斯分布；第三中立国的人民称他为拉普拉斯-高斯分布。后来法国的大数学家庞加莱建议改用正态分布这一中立名称, 而随后统计学家卡尔·皮尔森使得这个名称被普遍接受：

Many years ago I called the Laplace-Gaussian curve the normal curve, which name, while it avoids an international question of priority, has the disadvantage of leading people to believe that all other distributions of frequency are in one sense or another “abnormal”.

—Karl Pearson (1920)

不过由于高斯在数学家中的名气实在是太大, 正态分布的桂冠仍是更多地被戴在了高斯的脑门上，目前数学界通行的用语是正态分布、高斯分布, 二者并用。

正态分布在高斯的推进下，迅速在测量偏差分析中被普遍使用，然而早期也仅限于测量偏差的分析中，其重要性远没有被天然科学和社会科学领域中的学者们所认识，那正态分布是如何从测量偏差分析的小溪，冲向天然科学和社会科学的汪洋大海的呢？

5. 曲径通幽处，禅房花木深

在介绍正态分布的后续发展以前，咱们来多讲一点数学，也许有些人会以为枯燥，不太高斯曾经说过：“数学是上帝的语言”；因此要想更加深刻的理解正态分布的美，惟有借助于上帝的语言。

造物主造物的准则每每是简单明了的，只是在纷繁芜杂的万物之中，咱们要发现并领会它并不是易事。以前提到过，1七、18世纪科学界流行的作法，是尽量从某种简单明了的准则出发做为科学探求的起点；然后来的数学家和物理学家们的研究发现，多次从一些给定的简单的准则出发, 咱们老是被引领到了正态分布的家门口，这让人感受到正态分布的美妙。

达尔文的表弟高尔顿是生物学家兼统计学家，他对正态分布很是的推崇与赞美：”我几乎未曾见过像偏差呈正态分布这么激发人们无穷想象的宇宙秩序“。当代两位伟大的几率学家列维(Paul Pierre Lévy, 1886-1971) 和卡克(Mark Kac, 1914-1984) 都曾经说过，正态分布是他们切入几率论的初恋情人，具备无穷的魅力。若是古希腊人知道正态分布，想必奥林匹斯山的神殿里会多出一个正态女神，由她来掌管世间的混沌。

要拉下正态分布的神秘面纱展示她的美丽，须要高深的几率论知识，本人在数学方面知识浅薄，不能胜任。只能在极为有限的范围内尝试掀开她的面纱的一角。棣莫弗和拉普拉斯以抛钢镚的序列求和为出发点，沿着一条小径第一次把咱们领到了正态分布的家门口，这条路叫作中心极限定理。而这条路上风景秀丽，许多几率学家都为之倾倒。这条路在二十世纪被几率学家们越拓越宽，成为了通往正态曲线的一条康庄大道。而数学家和物理学家们发现：条条小路通正态。著名的物理学家杰恩斯(Edwin Thompson Jaynes, 1922-1998) 在他的名著《几率论沉思录(Probability Theory: the Logic of Science)》中，描绘了四条通往正态分布的小径；曲径通幽处，禅房花木深，让咱们一块儿来欣赏一下这四条小径上的风景吧。

5.1 高斯(1809)的推导

第一条小径是高斯找到的，高斯以以下准则做为小径的出发点

偏差分布导出的极大似然估计 = 算术平均值

设真值为 $θ$

L (θ) = L (θ; x 1, \dots, x n) = f (e 1) \dots f (e n) = f (

为求极大似然估计，令

d log L ( θ ) d θ = 0

整理后能够获得

\sum i = 1 n f ' ( x i - θ ) f ( x i - θ ) = 0

令 $g (x) = \frac{f^{'} (x)}{f (x)}$

\sum i = 1 n g (x i - θ) = 0