算法的时间复杂度分析

算法分析

• 算法分析即指对一个算法所须要的资源进行预测
  • 内存，通讯带宽或者计算机硬件等资源偶尔是咱们关心的
  • 一般，资源是指咱们但愿测度的计算时间

RAM模型

• 分析一个算法以前，须要创建一个实现技术的模型，包括描述所用资源及其代价的模型

• RAM模型：单处理器，随机存取RAM

  • 指令一条接一条地执行，没有并发操做（单处理器）
  • 包含真实计算机中的常见指令：算术，数据移动，控制
  • 每条指令所需时间为常量
  • 数据类型为整型和浮点型

• 灰色领域：真实计算机包含的其余指令，不是常量时间的那种。没有对存储器层次进行建模。

算法运行时间

• 运行时间取决于输入的内容

  • 相同规模$n$,不一样的序列有不一样的运行时间，好比逆序序列或者顺序序列

• 运行时间取决于数据的规模

  • $n$越大，时间天然越多
  • 通常来讲，算法所需时间与输入规模同步增加，所以一个程序的运行时间是其输入的函数

• 一般咱们关心运行时间的上限(最坏状况)

• 注：咱们分析时间时要使用机器独立的时间单位，即不考虑机器不一样带来的影响。

插入排序时间分析

• 假设每行每次执行的时间为常量$c_i$

for j: 2 to length[A]:
	do key = A[j]
	   i = j-1
       while i>0 and A[i]>key
       		do A[i+1] = A[i]
       		i = i-1
       A[i+1] = key

1. $cost:c_1;times:n$ (包含跳出循环的那次)

   注：for循环是刚刚进入循环时就要判断一次条件，而后再执行j--，再判断条件，直到判断条件不知足，不进入循环。假设循环$n$个元素，实际执行$n+1$ 次比较

2. $cost:c_2;times:n-1$

3. $cost:c_3;times:n-1$

4. $cost:c_4;times:\sum\limits_{j=2}^nt_j, t_j$ 为一次for循环中while循环的判断次数

5. $cost:c_5;times:\sum\limits_{j=2}^n(t_j-1),$

6. $cost:c_6;times:\sum\limits_{j=2}^n(t_j-1)$

7. $cost:c_7;times:n-1$

$t_j$ 取决于与序列排序状况有关，若是已经排好序了，$A[j-1]$老是小于key了，因此每次for循环只算判断了一次while，总共$n-1$次，若是是逆序，前一个总比后一个大，知足while条件，每次for循环中while判断次数为$t_j=j-1+1=j$ ，总共$\sum\limits_{j=2}^n{t_j}$ 次。

总的运行时间：

$T(n)=c_1n+c_2(n-1)+c_3(n-1)+c_4\sum\limits_{j=2}^n{t_j}+c_5\sum\limits_{j=2}^n(t_j-1)+c_6\sum\limits_{j=2}^n(t_j-1)+c_7(n-1)$

渐进分析

• 若是一个算法的最坏状况运行时间要比另外一个算法的低，咱们就经常认为它的效率更高。那么如何比较两个算法的运行时间呢？
• 渐进表示：忽略每条语句的真实代价，而用常量$c_i$ 表示，只考虑公式中的最高次项(低阶项相对来讲不过重要)，忽略最高次项的常数系数（对于增加率而言，系数是次要的）
  • 在输入的规模较小时，因为常数项和低次项的影响，这种见解有时多是不对的。对规模足够大的输入来讲，这种见解老是对的。
• 虽然有时候可以精确肯定一个算法的运行时间，但一般没有必要。（在RAM模型下，能够精确计算T(n)）
• 渐近分析更有意义（对不是很小的输入规模而言，从渐进意义上说更有效的算法就是最佳的选择）

渐进符号

$\Theta(g(n))={f(n):存在正常数c_1,c_2,n_0,对全部的n\ge{n_0},有0\le{c_1g(n)\le{f(n)}\le{c_2g(n)}}}$

• $\Theta(g(n))$ 是一个集合，记号$f(n)=\Theta(g(n))$ 是指$f(n)$ 是这个集合中的一个元素，不是指相等

• 具体来讲：当$n$大于某个数时，一个与$n$有关的函数$f(n)$，无论$n$如何增加，其大小老是被限制到$c_1g(n)$和 $c_2g(n)$之间。

• 在时间复杂度分析中，$f(n)$即咱们所要求的$T(n)$，当咱们不须要精确地求出$T(n)$时，咱们只须要大体知道它随$n$增加时，其值的上下界如何，即这个算法的运行时间确定不会超过某个时间，不会低于某个时间。

• **好比：$T(n)=\Theta(n^2)$ 表示该算法的运行时间不会超过$c_1n^2$ ，不会低于$c_2n^2$ **

  • $\Theta(n^2)$ 是全部知足该性质的算法的$T(n)$ 的集合

$O(g(n))={f(n):存在正常数c,n_0,对全部的n\ge{n_0},有0\le{f(n)}\le{cg(n)}}$

• 描述了算法运行的上界，不会超过常数倍的$g(n)$ ，即最坏状况
• 好比 $T(n)=O(n^2)$ 表示该算法运行时间不会超过$cn^2$

$\Omega(g(n))={f(n):存在正常数c,n_0,对全部的n\ge{n_0},有0\le{cg(n)}\le{f(n)}}$

• 描述算法运行的下界，表示不低于常数倍$cg(n)$

一个渐进正函数中的低阶项和最高阶项的系数在决定渐进确界(上界、下界)时能够被忽略

分治算法分析

• 分治法在每一层递归上都有三个步骤：

  分解：将原问题分解为若干个规模较小，相互独立，与原问题形式相同的子问题；

  解决：若子问题规模较小而容易被解决则直接解，不然递归地解各个子问题；

  **合并：**将各个子问题的解合并为原问题的解。

• 另外，分解到什么规模就够了呢？即分解到子问题能够找到一个方法，使得在线性时间/常量时间内就能够解决。好比归并排序问题，排序到何时最容易解决呢？固然是分解到序列内只有一个元素

• 分治法的递归式

  • $T(n)$ 为规模为$n$的问题的运行时间,$D(n)$为分解问题所需时间,$C(n)$ 为合并解所需时间 $$ T(n)=\begin{cases} \Theta(1) & n\le{c} \ aT(n/b)+D(n)+C(n) & otherwise \ \end{cases} $$

• 使用分治法的归并排序的递归式

  • 第一个式子就是分解到什么规模能够经过$O(1)$时间来解决，第二个式子描述的就是子问题的运行时间加上归并所须要的时间

$$ T(n)=\begin{cases} \Theta(1) & n=1 \ \underbrace{2T(n/2)}{对两个子序列排序}+\underbrace{\Theta(n)}{合并解} & n>1 \ \end{cases} $$

递归式求解

$$ T(n)=\begin{cases} \Theta(1) & n=1 \ 2T(n/2)+\Theta(n) & n>1 \ \end{cases} $$

注意问题：

• 假设自变量为整数
• 忽略边界条件
• 忽略上取整，下取整的影响，先假设总可以被整除，等获得结果后再肯定他们是否重要

代换法

• 猜想解的形式
• 用数学概括法找出使解真正有效的常数
• 仅仅适用于解的形式很容易猜的时候

递归树

• 将递归式转换成树形结构，树中的节点表明在不一样递归层次付出的代价，利用对和式限界的技术解出递归式

主方法

• 给出递归形式$T(n)=aT(n/b)+f(n)$的界，其中$a≥1，b>1，f(n)$是给定的函数