学习笔记DL008:几率论，随机变量，几率分布，边缘几率，条件几率，指望、方差、协方差

几率和信息论。

几率论，表示不肯定性声明数学框架。提供量化不肯定性方法，提供导出新不肯定性声明(statement)公理。人工智能领域，几率法则，AI系统推理，设计算法计算几率论导出表达式。几率和统计理论分析AI系统行为。几率论提出不肯定声明，在不肯定性存在状况下推理。信息论量化几率分布不肯定性总量。Jaynes(2003)。 机器学习常常处理不肯定量，有时处理随机(非肯定性)量。20世纪80年代，研究人员对几率论量化不肯定性提出信服论据。Pearl(1998)。

不肯定性来源。被建模系统内存的随机性。不彻底观测，肯定系统不能观测到全部驱动系统行为变量，也呈随机性。不彻底建模，模型舍弃观测信息，致使预测不肯定性。简单而不肯定规则比复杂而肯定规则更实用，即便真正规则是肯定的而且建模型系统足够精确容纳复杂规则。

几率论分析事件发生频率。事件能够重复。结果发生几率p，反复无限次，有p比例会致使某个结果。几率表示信任度(degree of belief)。直接与事件发生的频率相联系，频率派几率(frequentist probability)。涉及到肯定性水平，贝叶斯几率(Bayesian probability)。不肯定性常识推理，列出若干条指望性质，知足惟一方法是贝叶斯几率和频率几率等同。Ramsey(1926)。几率，处理不肯定性逻辑扩展。逻辑提供形式化规则，给定命题真假，判断另外一些命题真假。几率论提供形式化规则，给定命题似然，计算其余命题为真似然。

随机变量(random variable)。

随机取不一样值变量。无格式字体(plain typeface)小写字母表示随机变量，手写体小写字母表示随机变量取值。随机变量对可能状态描述。伴随几率分布批定每一个状态可能性。随机变量能够离散或连续。离散随机变量有限或可数无限多状态。可能没有数值。连续随机变量伴随实数值。

几率分布(probability distribution)。

随机变量或一簇随机变量每一个状态可能性大小。描述几率分布方式取决随机变量离散仍是连续。

离散型变量和几率质量函数。离散弄变量几率分布用几率质量函数(probability mass function,PMF)描述。大写字母P表示几率质量函数。每一个随机变量有一个不一样几率质量函数，根据随机变量推断所用PMF。几率质量函数将随机变量每一个状态映射到随机变量取该状态几率。x=x几率用P(x)表示，几率1表示x=x肯定，几率0表示x=x不可能发生。明确写出随机变量名称，P(x=x)。定义随机变量，用~符号说明遵循分布，x~P(x)。几率质量同时做用多个随机变量。多个变量几率分布为联合几率分布(joint probability distribution)。P(x=x,y=y)表示x=x和y=y同时发生几率。简写P(x,y)。函数P是随机变量x的PMF，P定义域必须是x全部可能状态集合。FORALL(x) ELEMENT(X)，0<=P(x)<=1。不可能发生事件几率为0，不存在几率更低状态。确保必定发生事件几率为1,不存在几率更高状态。SUM(x ELEMENT(X),P(x))=1。归一化(normalized)。

离散型随机变量x有k个不一样状态，x均匀分布(uniform distribution)，每一个状态均等可能。PMF，P(x=x i)=1/k。全部i成立。k是一个正整数，1/k是正的。SUM(i, P(x=x i))=SUM(i, 1/k)=k/k=1。分布知足归一化条件。 连续型变量和几率密度函数。连续型随机变量，几率密度函数(probability density function,PDF)描述几率分布。函数p是几率密度函数。p定义域是x全部可能状态集合。FORALL(x) ELEMENT(X)，P(x)>=0，不要求p(x)<=1。INTEGRAL(p(x)dx)=1 。几率密度函数p(x)给出落在面积为DELTA(x)无限小区域内几率为p(x)DELTA(x)。几率密度函数求积分，得到点集真实几率质量。x落在集合S中的几率，p(x)对集合求积分获得。单变量，x落在区间[a,b]几率是INTEGRAL([a,b],p(x)dx) 。

实数区间均匀分布。函数u(x;a,b)，a和b 是区间端点，知足b>a。符号";"表示以什么为参数。x做函数自变量，a和b做定义函数参数。确保区间外没有几率，全部x NOTELEMENT([a,b])，令u(x;a,b)=0。在[a,b]内，u(x;a,b)=1/(b-a)。任何一点都非负。积分为1。x~U(a,b)表示x在[a,b]上均匀分布。

边缘几率。

定义在子集上的几率分布为边缘几率分布(marginal probability distribution)。离散型随机变量x和y，知道P(x,y)，求和法则(sum rule)计算FORALL(x) ELEMENT(X),P(x=x)=SUM(y,P(x=x,y=y)) 。边缘几率名称来源手算边缘几率计算过程。P(x,y)每一个值被写在每行表示不一样x值、每列表示不一样y值网格中，对网络中每行求和，求和结果P(x)写在每行右边纸边缘处。连续型变量，用积分替代求和，p(x)=INTEGRAL(p(x,y)dy。

条件几率。

某个事件上在给定其余事件发生时出现几率。给定x=x,y=y发生条件几率记P(y=y|x=x)。P(y=y|x=x)=P(y=y,x=x)/P(x=x)。条件几率只在P(x=x)>0有定义。不能计算给定在永远不会发生事件上上的条件几率。不要把条件几率和计算当采用某个动做后会发生什么相混淆。

条件几率链式法则。

任何多维随机变量联合几率分布，均可以分解成只有一个变量的条件几率相乘形式。P(x (1) ,…,x (n) )=P(x (1) )PRODUCT(i=2,n,P(x (i) |x (i) ,…,x (i-1) ))。几率链式法则(chain rule)或乘法法则(product rule)。从条件几率定义获得，使用两次定义获得，P(a,b,c)=P(a|b,c)P(b,c)。P(b,c)=P(b|c)P(c)。P(a,b,c)=P(a|b,c)P(b|c)P(c)。

独立性和条件独立性。

两个随机变量x和y，几率分布表示成两个因子乘积形式，一个因子只包含x，另外一个因子只包含y，两个随机变量相互独立(independent)。FORALL(x) ELEMENT(x),y ELEMENT(y),z ELEMENT(z),p(x=x,y=y)=p(x=x)p(y=y)。x和y的条件几率分布对于z的每个值都写成乘积形式，随机变量x和y在给定随机变量z时条件独立(conditionally independent)。FORALL(x) ELEMENT(x),y ELEMENT(y),z ELEMENT(z),p(x=x,y=y|z=z)=p(x=x|z=z)p(y=y|z=z)。简化形式表示独立笥和条件独立性，x UPTACK(y)表示x和y相互独立，x UPTACK(y)|z表示x和y在给定z时条件独立。

指望、方差和协方差。

函数f(x)关于某分布P(x)的指望(expectation)或指望值(expected value)，当x由P产生，f做用于x，f(x)的平均值。对于离散型随机变量，求和获得，E x~P [f(x)]=SUM(x,P(x)f(x))。连续型随机变量，求积分获得，E x~p [f(x)]=INTEGRAL(p(x)f(x)dx) 。几率分布在上下文指明，只写出指望做用随机变量名称简化，Ex[f(x)]。指望做用随机变量明确，不写脚标，E[f(x)]。默认，假设E[.]表示对方括号内全部随机变量值求平均。没有歧义时，能够省略方括号。指望线性，E x [af(x)+bg(x)]=aEx[f(x)]+bE x [g(x)]。a和b不依赖x。

方差(variance)衡量，x依据几率分布采样时，随机变量x函数值差别。Var(f(x))=E[(f(x)-E[f(x)]) 2 ]。方差很小时，f(x)值造成簇比较接近指望值。方差的平方根为标准差(standard deviation)。

协方差(covariance)，给出两个变量线性相关性强度及变量尺度。Cov(f(x),g(y))=E[(f(x)-E[f(x)])(g(y)-E[g(y)])]。协方差绝对值很大，变量值变化很大，距离各自的均值很远。协方差为正，两个变量倾向于同时取得相对较大值。协方差为负，一个变量倾向于取较大值，另外一个变量倾向于取较小值。其余衡量指标，相关系数(correlation)，每一个变量贡献归一化，只衡量变量相关性，不受各个变量尺度大小影响。

协方差和相关性有联系，是不一样概念。联系。两个变量互相独立，协方差为零。两个变量协义差不为零，必定相关。独立性和协方差性质彻底不一样。两个变量协方差为零，必定没有相互依赖，但具备零协方差可能。从区间[-1,1]均匀分布采样一个实数x，对一个随机变量s采样。s以1/2几率值为1,不然为-1。令y-sx生成一个随机变量y。x和y不相互独立，x彻底决定y尺度.Cov(x,y)=0。

随机向量x ELEMENT(R n )协方差矩阵(convariance matrix)是n*n矩阵，知足，Cov(x) i,j =Cov(x i ,x j )。协方差矩阵对角元是方差，Cov(x i ,x i )=Var(x i )。

参考资料：

《深度学习》

欢迎推荐上海机器学习工做机会，个人微信：qingxingfengzi

我有一个微信群，欢迎一块儿学深度学习。