算法分析：如何分析一个算法的效率好坏？

什么是算法分析

当咱们说算法分析的时候咱们在说什么？（狭义的技术层面的定义）：

算法分析指的是： 对算法在运行时间和存储空间这两种资源的利用效率进行研究。

即时间效率和空间效率。

 

时间效率指算法运行有多快；

空间效率指算法运行时须要多少额外的存储空间。

（时间效率也叫时间复杂度；空间效率也叫空间复杂度。）

 

在计算机时代早期，时间和空间这两种资源都是及其昂贵的。但通过半个多世纪的发展，计算机的速度和存储容量都已经提高了好几个数量级。

如今空间效率已经不是咱们关注的重点了，但时间效率的重要性并无减弱到这种能够忽略的程度。

 

因此，当咱们分析一个算法的的时候，咱们只关注它的时间效率。

 

算法分析通用思路：

当咱们遇到一个算法时，咱们能够用这样一个通用的思路去分析它：

 

1. 输入规模

首先第一步考虑这个算法的输入规模是什么？即输入参数，再换句话说也就是待解决的问题有多大？

从这里入手是由于一个显而易见的规律就是， 无论使用什么算法，输入规模越大，运行效率确定会更长。

输入规模的肯定要根据具体要解决的实际问题的细节来决定，相同的问题不一样的细节，输入规模是不同的。好比：一个拼写检查的算法，

若是算法关注的是单独的字符检查，那么字符的数量就是输入规模的大小；

若是算法关注的是词组搭配的检查，那么这个输入规模就要比单独的字符检查的输入规模要小，这里输入规模就是词的数量了。

 

2. 运行时间的度量单位

接下来第二步考虑这个算法的运行时间，即这个算法运行地快慢。

咱们能够简单地用计时的方法，即某个算法运行了多少毫秒。

但这个方式有一个缺陷就是在不一样计算机上，相同算法的运行时间是不同，由于有的电脑快有的电脑慢。

因此有没有一种度量方法能够排除这些无关因素？

答案是确定的，咱们能够 关注算法执行了多少步，即操做的运行次数。并且为了简化问题咱们只需关注最重要的操做步骤，即所谓的基本操做，由于基本操做已经足够能够决定这个算法的品质。

好比一个算法一般是最内层的循环中是最费时的操做，那咱们就只须要把它循环了多少次做为基本操做进行研究。

 

3. 增加次数

这里须要延伸的一点是在大规模的输入状况下考虑执行次数的增加次数。由于针对小规模的输入，在运行时间的差异上不太明显。好比只对100个数字进行排序，无论你用什么排序算法，时间效率都差很少。只有在输入规模变大的时候，算法的差别才变得既明显又重要了起来。

简单来讲，

1. 若是一个算法在输入规模变大时，但运行时间平缓增加，那么咱们就能够说它就是一个效率高的算法；
2. 而若是一个算法在输入规模变大时，它的运行时间成指数级增加，那就能够说这个算法的效率不好。

总而言之就是， 对基本操做的大规模输入状况下的变化的研究才更具备深远意义。

 

4. 算法的最优、最差和平均效率

当咱们了解了输入规模对算法时间效率的会产生影响，但算法的执行效率却不只仅只受输入规模的影响，某些状况下， 算法的执行效率更取决于输入参数的细节。

好比：一个简单的顺序查找的算法，在数组里查找数字 9：

在数组 list1 = [1, 2, 3, 4, 5, 6, 7, 8, 9] 里查找数字 9 和在相同的输入规模的另外一个数组 list2 = [9, 1, 2, 3, 4, 5, 6, 7, 8]里查找数字 9，在数组 list2 的执行效率确定更高。

上面小例子中的两个数组就体现了两个极端：输入最优状况和输入最坏状况。

相对应的，

在输入最优状况下的算法就叫最优效率；

在输入最坏状况下的算法就叫最差效率；

在这里有两个经验性的规则：

1. 最优效率的分析远远不如最差效率分析重要（由于最差效率能够肯定算法运行时间的上界）；
2. 若是一个算法的最优效率都不能知足咱们的要求，那么咱们就能够当即抛弃它。

在现实状况下，输入是“随机”的，既不会是最优输入也不会是最坏输入。因此这里又要引出一个概念，即：平均效率。

首先指出，咱们 毫不能用“最优效率”和“最差效率”的平均数求得平均效率，即使有时间这个平均数和真正的平均效率巧合地一致。

正确的步骤是：咱们要对输入规模 n 作一些假设。

对于上面的顺序查找算法的例子，标准的假设有两个：

1. 输入里包含目标数字，那么算法会成功查找到目标数字，此时，成功查找几率是 p(0 <= p <= 1)；
2. 对于任意数字 i，匹配发生在列表的第 i 个位置的几率是相同的。

基于这两个假设求平均效率可得：

1. 成功查找到目标的状况下，对于任意 i，第一次匹配发生在第 i 个位置的几率都是 p/n，此时，算法所作的比较次数是 i；
2. 输入数组里不包含目标数字，那么算法不成功查找，比较次数是 n，在这种状况下，可能性是 (1-p)。

由此，平均效率 C(n) = p(n+1) / 2 + n(1-p)

C(n) = [1 * p/n + 2 * p/n + ... + i * p/n + ... + n * p/n] + n*(1-p)

=  p/n[1 + 2 + ... + i + ... + n] + n(1-p)

= p/n * n(n+1)/2 + n(1-p)

= p(n+1) / 2 + n(1-p)               

 

由此可知，

1. 若是 p = 1，也就是说成功率是 100%，查找必定能成功，代入公式可得 (n+1)/2，即大约要查找数组中一半的元素；
2. 若是 p = 0，也就是说成功率是 0%，查找一定失败，代入公式可得 n，即算法会对全部元素所有查找一遍。

从这个例子能够发现，平均效率的研究要比最差效率和最优效率的研究困难不少：

咱们要将输入规模 n 划分为几种类型，对于同类型的输入，使得算法的执行次数是相同的。

 

结束：

算法是计算机科学的基础，之后会继续更新算法相关的随笔，对算法感兴趣的朋友欢迎关注本博客，也欢迎你们留言讨论。

咱们正处于大数据时代，对数据处理感兴趣的朋友欢迎查看另外一个系列随笔：

利用Python进行数据分析 基础系列随笔汇总

 

分享一张学校图书馆的照片：