数据结构与算法分析

数据结构与算法分析

C 语言描述

引论

• 从N个数中肯定第k个最大值,称为选择问题(selection problem).
• 不是全部的数学递归函数都能有效地(或正确地)由C的递归模拟来实现. 递归将反复进行直到基准情形出现.
• 递归的四条基本法则:
  • 基准情形: 不需递归也能获得的解, 即终止条件.
  • 不断推动: 每次递归调用都要使解朝向基准情形推动.
  • 设计法则: 假设全部的递归调用都能运行.
  • 合法效益法则(compound interest rule): 在不一样递归调用中不要作重复性的工做.

算法分析

• 算法(algorithm)是为求解一个问题须要遵循的, 被清楚地指定的单一指令的集合.
• 分治策略(divide and conquer):
  • 分: 把问题分红两个大体相等的子问题, 而后递归地求解.
  • 治: 将两个子问题的求解合并到一块儿并求解, 最后获得整个问题的解.

表, 栈和队列

• 抽象数据类型(abstract data type, ADT)是一些操做的集合.
• 后缀表达式: 计算后缀表达式花费的时间是O(n), 每一步处理是栈操做的常数时间.
• 利用栈将一个标准形式的表达式转换为后缀式:
  • 当读到一个操做数的时候,当即把它放到输出中;
  • 遇到操做符, 用栈缓存;
  • 遇到左括号也入栈;
  • 遇到右括号,就一直弹出至一个左括号;
  • 遇到符号, 弹出至低优先级符号为止.

树

• 二叉查找树(binary search tree).
• 先序遍历(preoder traversal): 根左右.
• 后序遍历(postorder traversal): 左右根.
• 中序遍历(inorder traversal): 左根右.
• 二叉树:每一个节点不能多于两个儿子.
  • 二叉树的平均深度要比N小得多 --- 为(O(根号(N))).
  • 二叉查找树的平均深度为O(logN).
• 表达式树: 表达式树的叶子是操做数(operand), 其余节点是操做符(operator).
  • 中序就是中缀表达式;
  • 后序就是后序表达式;
• AVL树是带有平衡条件的二叉查找树, 经过旋转(rotation)来保证树的平衡.
  • 插入发生在外边(左-左或右-右) --- 经过一次单旋来调整.
  • 插入发生在内部(左-右或右-左) --- 经过双旋来处理.
• 伸展树(splay tree): 保证从空树开始任意连续M次对树的操做最多花费O(MlogN)时间.
  • 一颗伸展树每次操做的摊还代价是O(logN).
  • 当一个节点被访问后, 要通过一系列AVL树的旋转被放到根上. (适用于一个节点被访问,不久后会再次被访问).

B- 树

• B- 树是经常使用的查找树, 但不是二叉树.
• 阶为M的B-树具备下列特性:
  • 树的根或者是一片树叶,或者儿子数在2和M之间.
  • 除根外, 全部非树叶节点的儿子数在[M/2]和M之间.
  • 全部的叶子都在相同的深度上.
• 4阶的B- 树被称为2-3-4树, 3阶的B- 树被称为2-3树.
• B- 树实际用于数据库系统, 在哪里树被存储在物理的磁盘上而不是主存中.

散列

• 散列表的实现经常叫作散列(hashing).
• 散列是一种用于常数平均时间执行插入, 删除和查找的技术.
• 散列最主要的是解决冲突(collision) --- 两个关键字散列到同一个值的时候.
• 散列函数: 一般保证散列表的大小为一个素数.
  • 取余法: Key mod TableSize;
  • 尽可能让键值分布均匀.
• 解决散列冲突的方法:
  • 分离连接法;
    • 将散列到同一值的全部元素保留到一个表中.
  • 开放定址法;
    • 若是发生冲突, hash尝试选择另外的单元, 直到找出空的单元为止.
    • 线性探测法;
    • 平方探测法;
    • 双散列;
    • 再hash; --- 表满一半就再散列; 途中策略(middle-of-the-road) --- 当表到达某一个装载因子的时候再进行再散列.
• 处理数据大以致于装不进主存的状况:
  • 可扩散列(extendible hashing) --- 容许用两次磁盘访问执行一次Find操做.
  • 用D表明根所使用的比特数, 称其为目录(directory), 目录中的项数为2^D, dL为树叶L全部元素共有的最高为的位数, dL <= D.
  • 若是不够存放插入的新关键字, 那么树叶会被分红两片新的树叶, 目录大小(比特的位数)将加1.
  • 这种简单的方法提供了大型数据库Insert操做和Find操做的快速存取时间.
• 假设位模式(bit pattern)是均匀分布的
• 目录的大小(2^D)为O(N(1+1/M)/M), 若是M很小. 那么目录可能过度大.
  • 树叶包含指向记录的指针而不是实际的记录, 这样能够增长M的值.

优先队列(堆)

• 优先队列(priority queue) 也称之为堆. --- 使用二叉查找树实现优先级队列.
• 二叉堆(binary heap)具备两个性质:
  • 结构性; --- 堆是一个彻底二叉树, 树高O(logN). --- 彻底二叉树能够用一个数组表示而不须要指针.
    • i位置的元素, 其左儿子在位置2i上, 右儿子在左儿子后的单元(2i+1)中, 父亲在[i/2]上.
  • 堆序性;
    • 使操做快速执行的性质是堆序性(heap order), 最小堆须要最小元素在根节点上.
  • 对堆的一次操做可能会破坏掉这两个性质.
• 二叉堆插入节点时, 须要执行上虑策略(percolate up), 直到新元素找出正确的位置.
  • 将新元素插入到满二叉树的末尾, 而后检查是否父节点比其大, 若是大的话就与父节点交换位置.
• 删除须要一种下滤的策略(percolate down):
  • 删除根节点后, 须要将满二叉树的最后一个元素正确的放到堆中, 先放到根节点, 再继续和左右孩子进行比较, 选择小的进行交换.
• 优先队列的应用:
  • 选择问题;
  • 事件模拟;
• d-堆是二叉堆的简单推广, 全部的节点都有d个儿子;
  • 当优先队列太大不能彻底装入主存的时候, d-堆是一个不错的选择.
• 左式堆:
  • 左式堆(leftist heap)也具备结构特性和有序性, 左式堆也是一个二叉树.
  • 左式堆不是理想平衡的, 倾向于很是不平衡.
  • 左式堆的左儿子的领路径长至少与右儿子的领路径长同样大.
  • 左式堆倾向于加深左路径, 因此有路径应该短.
  • 左式堆最主要的应用是在堆的合并上.
• 斜堆:
  • 斜堆(skew heap)是左式堆的自调节形式, 实现起来极其简单.
  • 斜堆与左式堆的关系相似于伸展树与AVL树之间的关系.
  • 斜堆具备堆序的二叉树, 可是不对树的结构进行限制.
• 二项队列结构:
  • 一个二项队列结构, 不是一棵堆序的树, 而是堆序树的集合, 称为森林(forest).
  • 二项树的每个节点将包含数据, 第一个儿子以及右兄弟, 二项树中的各个儿子以递减次序排序.

排序

• 插入排序(insertion sort);
• 希尔排序(shell sort)也称为缩小增量排序(diminishing increment sort).
• 堆排序(heap sort)在实践中慢于Sedgewick增量序列的希尔排序.
• 归并排序(mergesort): 经过递归实现.典型的分治策略(divide-and-conquer).
  • 每一个递归调用, 局部都会声明一个临时数组.
• 快速排序(quicksort)是实践中最快的已知排序算法, 快排也是一种分治的递归算法.
  • 基本步骤:
    • 若是中元素个数是0或1, 则返回.
    • 取S中任一元素v, 称之为轴点(pivot);
    • 将S-v(S中剩余元素)分红两个不相交的集合, S1和S2.
    • 返回quicksort(S1), v, 和quicksort(S2).
  • 随机选取枢纽元, 三数中值分割法.
• 小数组快排没有插入排序快(N <= 20);
• 桶式排序(bucket sort).
• 外部排序(external sorting): 用来处理输入很大的数据.
  • 基本的外部排序是基于归并排序中的Merge过程.
  • 多路合并.
  • 多相合并.
  • 替换选择.

不相交集ADT

• 等价关系:
  • 自反性;
  • 对称性;
  • 传递性.
• 保持不相交集合是很是简答的数据结构.
• 路劲压缩是自调整(self-adjustment)的最先形式之一, (伸展树和斜堆).

图论算法

• 深度优先搜索(depth-first search)是一个重要的技巧.
• 一个邮箱无圈图有时被称为DAG.
• 若是无向图中从每一个顶点到其余顶点都存在至少一条路径, 则称该无向图是连通的(connected).
• 若是有向图具备这样的性质称为强连通(strongly connected).
  • 若是一个有向图不是强连通, 可是是基础图(underlying graph) --- 去掉方向所造成的图是连通的, 则称该有向图为弱连通(weakly connected).
• 彻底图(complete graph)是指每一对顶点之间都存在一条边的图.
• 图能够经过邻接矩阵和邻接表进行表示.

拓扑排序

• 拓扑排序是对有向无圈图的顶点的一种排序, 若是存在一条vi到vj的路径, 那么在排序中vj出如今vi的后面.
• 拓扑排序并非惟一的, 任何合理的排序都是能够的.
• 找出任意一个没有入边的顶点, 显示出该顶点, 而后将它和它的边一块儿从图中删除.

最短路径算法

• 单源最短路劲问题: 找到给定顶点s到G中每一个其余顶点的最短路径.
• 广度优先搜索(breadth-first search): 按层处理顶点, 距开始点最近的那些顶点首先被访问, 最远的点最后被访问, 有点像树的层次遍历.
• dijkstra算法:
  • 每一个顶点都要保留一个临时距离dv = 源点s到v的最短路径长.
  • 采用的是一种贪婪的策略(greedy algorithm). 贪婪算法通常分阶段求解一个问题, 在每一个阶段它把当前出现的看成最优解去处理.
    • 贪婪算法不是总能成功.
  • 已知的邻接点的临时距离须要不断调整直到最小的值.
  • 能够写一个递归程序跟踪p数组留下的踪影.
  • 对于稀疏图, 使用优先级队列对dijkstra最短路径算法进行优化.
• 具备负边值的图, Dijstra算法是行不通的, 也不能向每条边增长一个常量值delta进行去负边.
• 无圈图, 能够经过拓扑排序来改进Dijkstra最短路径算法, 即选择和更新在拓扑排序执行的时候进行.
  • 无圈图能够模拟某种滑雪问题;
  • 无圈图的一个更重要的用途是关键路径分析法(critical path analysis).
• 全部点对最短路径问题, 多源多汇最短路径.

网络流问题

• 解决最大流问题, 最简单的思路是分阶段解决, 构建一个残余流的图(residual graph), 对应残余边(residual edge).
  • 从残余图Gr中寻找一条s到t的一条路径, 称这条路径为增广通路(augmenting path).
  • 一旦注满一条边(使饱和), 则这条边就要从残余图中去除.
  • 最小费用流问题, 每条边不只有容量, 并且每一个单位流还存在价格, 在最大流中找一个最小价格的流来.

最小生成树

• 最小生成树(minimum spanning tree), 无向图中找最小生成树比较容易, 在有向图中比较困难.
  • 无向图中的最小生成树就是由该图的那些链接G的全部顶点的边构成的图, 其总价值最低.
  • 包含途中全部顶点的最小的树.
• Prim算法: 计算最小生成树时, 使其连续地一步步生成, 在每一步都要把一个节点看成根往上加边.
  • 每一步添加一条边和一个顶点到最小生成树上.
  • 与dijkstra最短路径算法相似.
• Kruskal算法; 连续地按照最小的权值选择边(贪心的策略).

深度优先搜索

• 深度优先搜索(depth-first search)是对先序遍历(preorder traversal)的推广.

• 无向图是连通的.

• 若是无向图任一顶点删除后, 图还是连通的, 那么这个无向连通图称为双向连通的.

• 若是一个图不是连通的, 删除一点后图再也不连通, 那么这个顶点就叫作割点.

• 欧拉回路:

  • 终点必须终止在起点上的欧拉回路只有当图是连通的而且每一个顶点的度(边的条数)是偶数才又节能存在有效解.
  • 全部顶点的度(边的条数)均为偶数的任何连通图必然有欧拉回路.
  • 哈密尔顿圈问题(Hamiltonian cvcle problem) 是一个NP难问题.
    • 哈密尔顿圈问题是要找一个圈, 该圈包含全部的顶点.

• NP彻底性:

  • 存在大量重要的问题, 他们在复杂性上大致是等价的, 这一类问题被叫作NP彻底(NP-complete)问题.
  • 这些NP彻底问题精确度的复杂性仍然须要肯定而且在计算机理论科学方面仍然是最重要的开放性问题.
  • 要么NP彻底问题都有多项式时间解法, 要么都没有多项式时间解法.
  • NP(Nondeterministic polynomial-time)非肯定型多项式时间.
  • NP中的任意问题都能多项式归约为NP彻底问题.
  • NP彻底问题是NP问题中最难的问题.

• NP彻底问题的例子:

  • 哈密尔顿圈问题是NP彻底问题.
  • 巡回售货员是NP彻底问题. 彻底图小于K值的简单圈.
  • 最长路径问题.
  • 装箱问题(bin packing).
  • 背包问题(knapsack).
  • 图的着色(graph coloring)问题.
  • 团的问题(clique).

算法设计技巧

• 求解问题的五种一般类型的算法.

贪婪算法

• 贪心算法分阶段工做, 在每个阶段, 认为锁决定是好的, 不会考虑未来的后果.
  • 通常获得的解都是局部最优解, 即次优解.
• 任务调度问题;
• Huffman编码 --- 文件压缩问题.
  • 表明字母的二进制代码用二叉树来表示, 每一个字符经过从根节点开始用0指示左分支用1指示, 右分支而以记录路径的方法表示出来. --- 这种树叫作trie数.
  • 总价值最小的满二叉树.
  • 哈夫曼算法:
    • 算法对一个由树组成的森林进行;
    • 一棵树的权等于它的树叶的频率和.
    • 任意选取最小权的两颗树T1和T2, 并任意造成新树, 进行C-1次;
    • 存在C棵单节点树 --- 每一个字符一颗树;
    • 算法结束时获得一颗树, 这棵树就是哈夫曼编码树.
    • 最优前缀码.

近似装箱问题

• 联机算法:
  • 下项适合算法(next fit): 检查刚刚装进物品的箱子是否还能装.
  • 首次适合算法(first fit): 依次扫描箱子, 把新的物品放入足够空间的箱子.
  • 最佳适合算法(best fit): 把一个物品放到全部箱子中可以容纳它的最满箱子中.
• 脱机算法:
  • 首次适合递减算法(first fit decreasing);
  • 最佳适合递减算法(best fit decreasing).

分治算法

• 分治算法(divide and conquer)由两部分组成:
  • 分(divide): 递归解决较小的问题.
  • 治(conquer): 用子问题的解构造原问题的解.

动态规划

• 动态规划(dynamic programming)解决数学递推公式的一种技巧, 当前状态与以前的状态相关.
• 最优二叉查找树.

随机化算法

• 一个随机化算法的最坏运行时间几乎老是和非随机化算法的最坏运行时间相同.
• x(i+1) = Ax(i) mod M x(0)叫作随机种子.
• 跳跃表(skip list): 是在单链表上的扩展, 每一个节点具备k个指针(每一个节点的阶是随机肯定的), 能够跳跃式地指向其余节点.
• 跳跃表相似于散列表, 它们都须要估计表中的元素个数(从而阶的个数能够肯定);
  • 跳跃表如许多平衡查找树实现方法同样有效.

回溯算法

• 回溯算法(backtracking)至关于穷举搜索的巧妙实现.
• 收费公路重建问题.

博弈

• 极小极大策略, 利用置换表(散列实现)节省大量的计算.

• a-b裁剪(a-b pruning): 不须要进行求值的叫作a裁剪, 不会影响到min层的结果, 叫b裁剪.

• 摊还界比最坏情形界要弱, 但比等值的平均情形要强, 摊还要考虑整个操做序列而不是仅仅一次操做.

• 红黑树:

  • 每个节点或者着色为红色, 或者着色为黑色.
  • 根是黑色的.
  • 若是一个节点是红色的, 那其子节点都必须是黑色的.
  • 从一个节点到一个NULL指针的每条路径必须包含相同的黑色节点数.

• 1-2-3肯定性跳跃表.

• BB- 树是带有一个附加条件的红黑树: 一个节点最多能够有一个红儿子.

• AA结构要求从颜色转换成层次.

  • 水平链接是同一层次上的儿子之间的链接.

• treap树是一种二叉查找树, 像跳跃表同样使用随机数而且对任意输入都能给出O(logN)的指望时间性能.

• k-d树.

• 匹配堆. 最实用的斐波那契堆的变种, 具备兄弟指针, 前向指针(不表明父节点).