离散随机分布

离散随机分布

1.Bernoulli分布：

两点分布或者0-1分布。bernoulli试验成功，则Bernoulli随机变量X取值为1，不然X为0。记试验成功几率为θ，即：
P(X=1)=θ   P(X=0)=1−θ   θϵ[0,1]
称X服从参数为θ的Bernoulli分布，记为X~Ber(θ)

p(x|θ)={θ   if x = 11−θ   if x = 0=θx(1−θ)x,  θϵ[0,1]

Bernoulli均值：
μ=1∗θ+0∗(1−θ)=θ
Bernoulli方差：
σ2=E(x2)−μ2=12∗θ+02∗(1−θ)−θ2=θ−θ2=θ(1−θ)

两类分类问题：y|x服从Bernoulli分布，即类别标签y取值为0或1的离散随机变量

2.二项(Binomial)分布：

在抛掷硬币试验中，若只进行一次试验，则为Bernoulli试验。若进行n次试验，则硬币正面向上的数目X知足二项分布，记为: x~ Bin(n,θ)

p(x|n,θ)=Cxnθx(1−θ)n−x=n!(n−x)!x!θx(1−θ)n−x
Binomial均值：

已知：
xCxn=nCx−1n−1

μ=0∗C0nθ0(1−θ)n+1∗C1nθ1(1−θ)n−1+...+k∗Cknθk(1−θ)n−k+...+n∗Cnnθn(1−θ)0=1∗C1nθ1(1−θ)n−1+...+k∗Cknθk(1−θ)n−k+...+n∗Cnnθn(1−θ)0=n∗(C0n−1θ1(1−θ)n−1+...+Ck−1n−1θk(1−θ)n−k+...+Cn−1n−1θn(1−θ)0)=nθ(C0n−1θ0(1−θ)n−1+...+Ck−1n−1θk−1(1−θ)n−k+...+Cn−1n−1θn−1(1−θ)0)=nθ(1−θ+θ)n−1=nθ

Binomial方差：
已知：
x2Cxn=nCx−1n−1+n(n−1)Cx−2n−2

σ2=E(x2)−μ2

E(x2)=∑ni=0i2Cinpi(1−p)n−i=C1np(1−p)n−1+∑ni=2nCi−1n−1pi(1−p)n−i+∑ni=2(n−1)nCi−2n−2pi(1−p)n−i=np(1−p)

3.多项分布(multinomial)：

假设抛有K个面的的骰子，其中抛掷到第j面的几率为 θj , 令 θ=(θ1,θ2,...,θk)

若一共抛掷n次， x=(x1,...,xn) 为随机变量，其中 xk 是抛掷到第k面的次数，则x的分布为多项分布，即 x Mu(n,θ)

p(x|n,θ)=n!x1!...xk∏Kk=1θxkk

当n=1时为分类分布，Categorical 分布， x Cat(θ)