算法基础 I — 二分搜索算法、牛顿法

时间 2019-11-24

原文原文链接

什么是算法？

算法的定义是完成一项任务的一系列步骤，就像一份食谱，第一步干什么，第二步干什么... 在计算机科学中，算法是完成一个任务的一系列步骤，对于完成一个任务，有好的算法也有坏的算法，找到一个优秀的算法可让任务高效的完成。一个好的算法要知足两点正确性和高效，可是有时候也不要去彻底正确足够好就行，好比一项任务要获得一个彻底正确结果须要很是长的时间。python

找到立方根

给一个数怎么找到它的立方根呢？咱们知道没法找到随便一个数的精确立方根，因此咱们能够接受必定偏差。算法

咱们可让从0开始不断的增长它的大小，看它的三次方有多接近，找出最接近的数。数组

def cuberoot(n):
    inc = 0.001 # 每次递增的数，越小精度越大
    eps = 0.01 # 可接受的偏差范围
    ans = 0.0
    while abs(ans ** 3 - n) >= eps and ans < abs(n):
        ans += inc
    if n < 0: ans *= -1
    return ans
复制代码

能够猜到当很大时，这个算法须要的时间就很是长。那么有什么更好的算法？函数

二分搜索算法

二分搜索算法（binary search）也叫折半搜索，是一种在有序数组中查找某一特定元素的搜索算法。从数组的中间开始寻找，看是否是要找的数，若是不是就看这个数字是大于仍是小于要找的数，而后把不对的那一半扔掉。这个算法每次都搜索范围缩小一半，因此是一个很是快的算法。spa

上面找到立方根问题用二分搜索算法解决就是这样，code

def cuberoot(n):
    eps = 0.01
    low = 0.0 # 下界
    high = n # 上界
    ans = (low + high) / 2
    while abs(ans ** 3 - n) >= eps:
        if ans ** 3 < n:
            low = ans
        else:
            high = ans
        ans = (low + high) / 2
    if n < 0: ans *= -1
    return ans
复制代码

对比原来的算法能够看到，二分搜索算法快多了，原来到迭代几千次，如今十几回就好了！可是还有没有更快的算法呢？cdn

牛顿法

牛顿法（Newton's method）又称为牛顿-拉弗森方法（Newton-Raphson method）。简单来讲牛顿法能够快速的找到任何多项式的根（不光是立方根）。好比咱们要找到25的平方根，首先找到一个多项式知足，并对它求导获得，牛顿法告诉咱们若是一个数很接近它的根，那么 $g-\frac{p(g)}{p'(g)}$ 就更加接近它的根。blog

def cuberoot(n):
    eps = 0.01
    g = n / 3 # 随便猜个数
    while abs(g ** 3 - n) >= eps:
        g = g - (g ** 3 - n) / (g ** 2 * 3)
    return g
复制代码

能够看到代码很紧凑，可是很是快比二分搜索算法还要快！数学

大O符号

上面的方法都解决同一个问题，可是速度有快有慢，那么咱们怎么描述一个算法的快慢？it

咱们须要根据输入大小肯定算法须要多长时间。
咱们必须知道函数随输入大小增加的速度。

大O符号（Big O notation），又称为渐进符号，是用于描述函数渐近行为的数学符号。更确切地说，它是用另外一个（一般更简单的）函数来描述一个函数数量级的渐近上界。在数学中，它通常用来刻画被截断的无穷级数尤为是渐近级数的剩余项；在计算机科学中，它在分析算法复杂性的方面很是有用。

大O符号描述一个算法在最坏状况下的复杂度。

好比有个累加函数

def add(n):
    ans = 0
    while n > 0:
        ans = ans + n
        n = n - 1
    return ans
复制代码

能够看到这个函数一共要执行步，可是大O表示法只关心当增大时占主导地位的项目，其余项目和系数均可以忽略。这个函数用大O符号就为是线性复杂度。

复杂度分类（从快到慢）

符号	名称
	常数
$O(log\ n)$	对数
$O((log\ n)^c)$	多对数
	线性
$O(n\ log\ n)$	线性对数
	多项式
	指数
	阶乘

加法法则

好比一个函数内有两个不一样复杂度的循环，

乘法法则

好比循环嵌套循环，

其余表示符号

除了大O符号还有一些不经常使用的符号。

大 $\Omega$ 符号

大 $\Omega$ 符号（Big-Omega notation）的意思恰好和大O符号相反。大 $\Omega$ 符号表示函数在增加到必定程度时总大于一个特定函数的常数倍。不提供上限，算法最少要花多少时间。

大 $\Theta$ 符号

大 $\Theta$ 符号（Big-Theta notation）是大O符号和大 $\Omega$ 符号的结合。

好比一个算法最慢为最快为，那么用大 $\Theta$ 表示就为 $\Theta(n^2)$ ，大 $\Theta(n)$ 和大O看起来差很少，可是它们表达的意思不同，是表示随着的增大函数实际增加率不会超过， $\Theta(f(n))$ 是表示随着的增大就很是接近函数实际增加率。