第六周：统计学

当拿到一份数据的时候，首先会怎么作？----描述性统计学，几率推断统计。

描述性统计学

数值数据：计算

分类数据：不能进行计算，例如，男1 女0 表明一个类别

数值数据和分类数据能够进行互相转换

通常描述统计的方式方法：

1.分类数据的描述性统计：单纯计数就能够

2.数据描述统计：

3.统计度量：平均数--数据分布比较均匀的状况下进行，中位数，众数，分位数（4分位、10分位、百分位）

4.图形：

5.权重预估（分位数）

6.数据分布（波动状况，标准差，方差）

7.数据标准化：

在实际用用的时候，有不少状况量纲不一致（即数据单位不同）致使差别很大没法进行比较

用数据标准化将数据进行必定范围的压缩，获得的结果与数据业务意义无关，纯粹是数据上的波动达到可进行对比。

xi：数据的具体值

u：平均值

σ：标准差

标准化以后通常都是在0上下直接按波动的数字，就能够反应原始数据的典型特征进行分析。

实例演示：时间趋势下订单的变化

单纯的时间只是一种属性，隐含的一种关系。不少销量是跟时间有关系，可是时间的背后是根据用户行为或者一系列因素相关。而不是单纯连续日期几号的简单关系。因此将案例数据须要进行初步整理（坦诚讲~这个细节是比较吸引个人，由于在此以前一直是像上面所说，对日期进行简单连续日期进行趋势分析，获得的结果的确不尽人意）添加周数和星期，将其转化成日历形式进行观察。

显然，标准化以后的趋势显得更加明显清晰了，将趋势扩张到肉眼辨识度提升的形态。

在后期处理的时候，建议用标准化的数据进行预估，由于标准化后已经将正负收敛到0的附近，而且能够方便增长其余关系参加预估。

切比雪夫定理，能够帮助在知道标准差和平均数的状况下，基本就知道数据的分布状况。

另外一种做用则一般用于异常值的检测。

在数据越多的状况下，数据越收敛，推算的能力就会越精准。

描述统计的可视化：

1.箱线图：描述一组数据的分布，同时反应分位数

用2016版本以上的Excel能够直接利用数据做图，如低版本的则须要利用辅助线来进行（以前可视化内容的标靶图方法）绘制。

箱线图相对比其余柱形图更有对数据的分析解读性。

操做举例：

上下边缘线外部分散的点，可视分析状况视为异常值处理，若是想要分析的结果更精准，可视状况将这部分异常值数据剔除。

可添加类别进行细致分析。

2.直方图：特殊的柱形图，把条形图下面的类别换成数据的柱形图。

直方图通常的是等距划分，每个等距的距离不能重复。

直方图的形状有如下几种：

标准型：分布均匀较理想

陡壁型：比较容易出如今收费领域

锯齿型：说明数据不够稳定

孤岛型：要研究分析孤岛产生的缘由

偏峰型：销售数据通常会产生偏锋，通常会出现长尾（或左或右）

双峰型：二者数据混合通常会造成双峰

由直方图引出一个统计学指标-

-偏度

---正太分布

正太分布的特殊应用：

描述性统计的计算值，可经过Excel里面的数据--数据分析---描述性统计直接经过界面勾选须要内容进行计算。

几率推断统计

推断统计，描述一件事情发生的可能性

例如：抛硬币的游戏

事件：正面、反面

几率：50%

在B发生的几率下，A发生的几率是多少

当A与B之间无关联的时候，则P(A|B)=P(A)

条件几率的关键点

贝叶斯定理

看到题目的时候与最后分析的结果相差巨大的缘由是由于上题目中，有多重诱因所致使。

事件发生会有不少缘由，咱们单纯只知道结果的状况下去反推缘由是不太好的。

贝叶斯公式：

P(A1):真实患者的几率

P(A2):实际为健康人群的几率

P(B):表明试纸查出患者的几率

P(B|A1):为真实患者条件下试纸查出患者的几率，即99%

P(B|A2):为健康人群的条件下试纸查出患者的几率，即5%

P(A1)为真实患者的几率0.1%，P(A2)为健康率99.9%

i：为特定场景下

贝叶斯特色：知道结果A已经发生了，想要推导出各类缘由发生的可能性有多大。（结果----->发生因素的几率）

对于贝叶斯多倾向用于机器算法。网络上也有不少关于贝叶斯的解释可供参考学习。

几率分布

离散分布

连续变量分布

1.二项分布：

是一种离散型的几率分布。二项表明他有两种可能的结果，把一种称为成功，另一种称为失败。

每次成功和失败的几率都是相同的，每次实验相互独立（抛硬币是一个典型的二项分布）

Excel计算几率示例：

几率密度=BINOM.DIST(3，10，0，1，FALSE)

抽3次以上，限制10次，中间几率是10%（示例需求详见见课程）

2.泊松分布：

主要用于预估某事件在特定的事件或者空间中发生的次数。好比一天内中奖的个数，一个月内机器损坏的次数等。

在任意一个单位区间、时间内发生的几率是相同的（知道平均发生的几率）。

每次事件相互独立

x:想要知道具体发生的几率值

μ：平均几率值平均指望值

e:天然对数、常数

Excel计算几率示例：

=POISSON.DIST(x事件出现的次数，Mean指望值，逻辑值)

需求：想要知道在以前平均几天中奖5次（前几天天天中奖5次），下一时间段中奖几率是7次的几率是多少？

方法：=POISSON.DIST(7，5，TRUE)

TRUE是计算统计公式的几率累加值，同二项分布公式中的FALSE同样，FALSE是指单次，就是说恰好刚好发生7次的几率。

现实场景中，不能知足任意一个特定事件内或者空间内发生的次数几率是相同的，因此应用于现实场景中须要考虑实际条件。

通常现实生活中二项分布会比较经常使用。

3.正态分布

连续变量分布是一个随机变量在其区间内可以取任何数值所具备的分布。正态分布是一种连续型的随机变量分布。

世界上绝大多数分布都属于正态分布。正态分布的形状是一条钟型曲线。以均值为中心左右对称，形状和均值μ以及方差有关。

切比雪夫定义，能够帮助快速的估约数据。

正态分布公式：

标准正态分布：

均值为0，方差为1的正态分布。

几率密度函数和累计分布函数（在更多的应用场景中，更多的看累计分布函数）

应用示例：

要求：标准正态分布中，z小于等于1的几率？z在区间-1~1.25的几率？z大于2的几率？

方法：Excel计算几率示例

=NORM.DIST(X函数值的区间点1，算数平均数0，分布的标准方差1，逻辑值TRUE累计分布值)

求出的是小于等于某一个值

在必定区间的，求解方法至关于两个区间的几率相减求面积。

求解大于的，1-前一段的面积。

用Excel可不用转成标准正态分布进行运算，可直接进行运算。

现实工做场景中，不多会碰见知足正态分布的状况，更多的是密率分布，某个奖品随机积分，质量检测等知足正态分布的状况下使用。

【假设检验】
思想是反正法，若是一件事情发生的几率很小，可是它发生了，咱们就把这件事情的原始结论推翻。

个案的发生，不能去证实某一个结论，可是能够去否认它。

例如：某个工厂的产品合格率是99.9999%，但咱们拿出100个样本的时候，发现有2个不合格，这个时候就能去否认这个合格率了。

原假设H0：为了验证某一个假设是否发生，而去检验它。

备选假设H1：原假设不成立，则选择备选假设，包含一切让原假设不成立的几率。

原假设通常是小几率的事件，若是它发生了，咱们就要怀疑并拒绝它。若是没发生，则接受它。

通常在作假设检验的时候，通常都是为了把它否认掉。因此在设立原假设的时候通常设立的场景是比较宽泛，或是看上去比较常规正常个，看上去更像是可能发生的，而后用小几率把它否认掉。

1.A&B测试：原理就是假设检验

一般采用抽样方式将数据划分红两组，经过一组控制一组对照的方式进行观察。

原假设为测试没有效果，分析师的目的是去否认它，当B组的数据和A组的数据有显著差别时，则可否定它。

2.Z检验

由于AB测试的数据都比较大（较大的数据基础容易把一些偏差淡化掉，波动不明显），因此经常使用Z检验的方式进行验证，核心方法是当标准差已知时，验证A组合B组分均值是否相等。

Z检验公式：

示范案例：（具体详见课程91课时）

用Excel可计算Z值：=SDTR

根号=SQRT()

算出z值后转成正态分布，利用正态分布公式，把z值带入由于是标准正态分布，取值为均值为0，方差为1带入

得出几率是1%，能够把原始假设拒绝掉

当基础数据变小的时候（基础数据变小，波动则明显）几率会发生变化（变大），这样得出结论则发生变化。

样本量、阈值（转化率标准差），决定假设几率的变化。

3.置信区间

它的做用是不轻易拒绝原假设，而是给一个可靠的范围。通常来讲用95%做为可靠度。

在A&B测试中，咱们能够定义为，用户购买转化率，有95%的可能性是在23%~27%之间，另外5%是小几率了。

在实际业务中，当样本量足够时，转化率的计算能够越过Z检验的计算过程，直接看转化结果，由于样本量越大，对置信区间会越严格。

转化率在数据类型上是0和1的集合。除此，还有数值型的计算，好比消费额度、消费频次等。

A&B测试用于产品设计和运营是比较好的方法，对于数据分析来说，是一个很好的思惟。

返回总目录

转自：https://ask.hellobi.com/blog/cbdingchebao/11782