算法分析笔记

定义

---

定义：

1. 若存在正常数 c 和 n₀ 使得当 N ≥ n₀ 时 T(N) ≤ cf(N)，则记为 T(N) = O(f(N))
2. 若存在正常数 c 和 n₀ 使得当 N ≥ n₀ 时 T(N) ≥ cf(N)，则记为 T(N) = Ω(f(N))
3. T(N) = θ(h(N)) 当且仅当 T(N) = O(h(N)) 且 T(N) = Ω(h(N))
4. 若 T(N) = O(p(N)) 且 T(N) != θ(p(N))， 则 T(N) = o(p(N))

法则：

1. 若 T₁(N) = O(f(N)) 且 T₂(N)=O(g(N))，则：

   a. T<sub>1</sub>(N) + T<sub>2</sub>(N) = max(O(f(N)), O(g(N)))
   
   b. T<sub>1</sub>(N) * T<sub>2</sub>(N) = O(f(N) * g(N))

2. 若 T(N) 是一个 k 次多项式，则 T(N) = Θ(N^k)

3. 对任意常数 k，log^kN = O(N)

注意：

1. 不要将常数或低阶项放入 O() ，在 O 分析中，低阶项和常数通常能够忽略。
2. 总可以经过计算 n→∞ 时 f(N)/g(N) 的极限来肯定这两个函数的相对增加率。

最大子序列问题

---

能够分段读入数据并处理问题的算法称为 online algrithm，与之相对，在运算开始时就须要读入所有数据作运算的算法称为 offline algrithm。仅须要常量内存空间并以线性时间运行的算法几乎是完美的算法。以下例最大子序列问题：

lang:python
data = list(range(-10, 10))
random.shuffle(data)

# 算法
def foo(data):
    this_sum = max_sum = 0
    for i in data:
        this_sum += i
        if this_sum < 0:
            this_sum = 0
        elif this_sum > max_sum:
            max_sum = this_sum
    return max_sum

对数

---

若是一个算法用常数时间（O(1) ）将问题的大小削减为其一部分（一般是 1/2）,那么该算法就是 O(logN)。

若是一个算法能够用常数时间把问题减少一个常数，那么他就是 O(N) 的。

对数复杂度的一个典型例子是：二分法查找 (binary search)

def bin_search(numbers, x):
	"""假设 numbers 已排序"""
	start = 0
	end = len(numbers) - 1
	
	while start < end:
		middle = (start + end) / 2
		if numbers[middle] < x:
			start = middle + 1
		elif numbers[middle] > x:
			end = middle - 1
		else:
			return middle
	return -1

欧几里得算法

---

计算最大公因数：

def gcd(a, b):
	while b > 0:
		a = a % b
		a, b = b, a
	return a

定理：

若 M > N, 则 M mod N < M/2

推得：gcd 函数的时间复杂度是 O(log N) 的

幂运算

---

优化算法的一个原则是：不要作重复的运算。

所以对于幂运算 xⁿ，相较于进行 n-1 次乘法，下面的算法效率更高：

def pow(x, n):
	if n == 0:
		return 1
	if n == 1:
		return n
	if n % 2 == 0:
		return pow(x * x, n / 2)
	else:
		return x * pow(x * x, (n-1) / 2)

检验算法时间

---

python 中能够用 timeit.timeit 函数方便的检验算法时间

timeit(stmt='pass', setup='pass', timer=<built-in function perf_counter>,
		number=1000000, globals=None)

其中：

* stmt statement 是一个字符串表达式
* setup 是一个执行前置语句，如 import
* globals 是一个字典，存放你要使用的全局变量

如，咱们要测试 gcd 函数，则

import timeit
timeit.timeit('gcd(15, 234)', globals={'gcd': gcd})