散列表（上）

散列思想

散列表就是咱们日常说的哈希表，英文名叫＂Hash Table＂，其基础依据就是：

散列表用的是数组支持按照下标随机访问数据的特性，因此散列表其实就是数组的一种扩展，由数组演化而来。能够说，若是没有数组，就没有散列表。

这里仍是直接使用老师的例子来讲事吧．中间添加本身的思想就好了．本身想例子又得半天，并且咱们的目标也不是想一个好例子，而是真正理解并掌握知识．对吧？

---

用一个例子来解释一下。假如咱们有 89 名选手参加学校运动会。为了方便记录成绩，每一个选手胸前都会贴上本身的参赛号码。这 89 名选手的编号依次是 1 到 89。如今咱们但愿编程实现这样一个功能，经过编号快速找到对应的选手信息。你会怎么作呢？

咱们能够把这 89 名选手的信息放在数组里。编号为 1 的选手，咱们放到数组中下标为 1 的位置；编号为 2 的选手，咱们放到数组中下标为 2 的位置。以此类推，编号为 k 的选手放到数组中下标为 k 的位置。 由于参赛编号跟数组下标一一对应，当咱们须要查询参赛编号为 x 的选手的时候，咱们只须要将下标为 x 的数组元素取出来就能够了，时间复杂度就是 O(1)。这样按照编号查找选手信息，效率是否是很高？

实际上，这个例子已经用到了散列的思想。在这个例子里，参赛编号是天然数，而且与数组的下标造成一一映射，因此利用数组支持根据下标随机访问的时候，时间复杂度是 O(1) 这一特性，就能够实现快速查找编号对应的选手信息。

你可能要说了，这个例子中蕴含的散列思想还不够明显，那我来改造一下这个例子。

假设校长说，参赛编号不能设置得这么简单，要加上年级、班级这些更详细的信息，因此咱们把编号的规则稍微修改了一下，用 6 位数字来表示。好比 051167，其中，前两位 05 表示年级，中间两位 11 表示班级，最后两位仍是原来的编号 1 到 89。这个时候咱们该如何存储选手信息，才可以支持经过编号来快速查找选手信息呢？

思路仍是跟前面相似。尽管咱们不能直接把编号做为数组下标，但咱们能够截取参赛编号的后两位做为数组下标，来存取选手信息数据。当经过参赛编号查询选手信息的时候，咱们用一样的方法，取参赛编号的后两位，做为数组下标，来读取数组中的数据。 这就是典型的散列思想。其中，参赛选手的编号咱们叫做键（key）或者关键字。咱们用它来标识一个选手。咱们把参赛编号转化为数组下标的映射方法就叫做散列函数（或“Hash 函数”“哈希函数”），而散列函数计算获得的值就叫做散列值（或“Hash 值”“哈希值”）。

因此散列表的思想就是：

散列表用的就是数组支持按照下标随机访问的时候，时间复杂度是 O(1) 的特性。咱们经过散列函数把元素的键值映射为下标，而后将数据存储在数组中对应下标的位置。当咱们按照键值查询元素时，咱们用一样的散列函数，将键值转化数组下标，从对应的数组下标的位置取数据。

散列函数

从上面的例子咱们能够看出，如何将键转换为数组的下标这是相当重要的一步，而这一步正是散列函数所起得做用．

散列函数其实就是hash(key)，其中key就是键值，hash(key)表示通过散列函数计算获得的散列值．

好比，改造后的例子的散列函数就是：

int hash_fun(string key)
{
	//提取最后两位字符
    string LastTwoChars = key.substr(key.length() - 2, 2);
    //将其转换为 int 类型
    int index = stoi(LastTwoChars);
    return index;
}

以上就是散列的入门了，如今咱们来看一些复杂的操做．

若是参赛选手的编号是随机生成的 6 位数字，又或者用的是 a 到 z 之间的字符串，该如何构造散列函数呢？我总结了三点散列函数设计的基本要求：

• 散列函数计算获得的散列值是一个非负整数(要做为数组下标来使用)
• 若是 key1 = key2，那 hash(key1) == hash(key2)(相同的key，相同的散列值)
• 若是 key1 ≠ key2，那 hash(key1) ≠ hash(key2)(难以办到，会出现散列冲突。并且，由于数组的存储空间有限，也会加大散列冲突的几率)

散列冲突：其实就是说，有时候可能key不相同，但经过该散列函数计算出来的散列值是相同的．

如何解决散列冲突?

再好的散列函数也没法避免散列冲突。那究竟该如何解决散列冲突问题呢？咱们经常使用的散列冲突解决方法有两类，开放寻址法（open addressing）和链表法（chaining）

1. 开放寻址法

开放寻址法的核心思想就是，若是出现了散列冲突，咱们就从新探测一个空闲位置，将其插入。那如何从新探测新的位置呢？主要有如下几种方法：

(1) 线性探测（Linear Probing）。

当咱们往散列表中插入数据时，若是某个数据通过散列函数散列以后，存储位置已经被占用了，咱们就从当前位置开始，依次日后查找，看是否有空闲位置，直到找到为止。

举一个例子具体说明一下。这里面黄色的色块表示空闲位置，橙色的色块表示已经存储了数据。

从图中能够看出，散列表的大小为 10，在元素 x 插入散列表以前，已经 6 个元素插入到散列表中。x 通过 Hash 算法以后，被散列到位置下标为 7 的位置，可是这个位置已经有数据了，因此就产生了冲突。因而咱们就顺序地日后一个一个找，看有没有空闲的位置，遍历到尾部都没有找到空闲的位置，因而咱们再从表头开始找，直到找到空闲位置 2，因而将其插入到这个位置。

这是其插入，那么如何查找呐？

咱们经过散列函数求出要查找元素的键值对应的散列值，而后比较数组中下标为散列值的元素和要查找的元素。若是相等，则说明就是咱们要找的元素；不然就顺序日后依次查找。若是遍历到数组中的空闲位置，尚未找到，就说明要查找的元素并无在散列表中。

这是其查找，那么如何删除一个元素呐？

将删除的元素，特殊标记为 deleted。当线性探测查找的时候，遇到标记为 deleted 的空间，并非停下来，而是继续往下探测。

提问：为何不把要删除的元素设置为空呐？

由于在查找的时候，一旦咱们经过线性探测方法，找到一个空闲位置，咱们就能够认定散列表中不存在这个数据。可是，若是这个空闲位置是咱们后来删除的，就会致使原来的查找算法失效。原本存在的数据，会被认定为不存在

散列表的缺点

当散列表中插入的数据愈来愈多时，散列冲突发生的可能性就会愈来愈大，空闲位置会愈来愈少，线性探测的时间就会愈来愈久。极端状况下，咱们可能须要探测整个散列表，因此最坏状况下的时间复杂度为 O(n)。同理，在删除和查找时，也有可能会线性探测整张散列表，才能找到要查找或者删除的数据。

(2) 二次探测（Quadratic probing）

二次探测与线性探测很像，线性探测每次探测的步长是 1，那它探测的下标序列就是 hash(key)+0，hash(key)+1，hash(key)+2……而二次探测探测的步长就变成了原来的“二次方”，也就是说，它探测的下标序列就是 hash(key)+0，hash(key)+1^2，hash(key)+2^2……

(3) 双重散列（Double hashing）

所谓双重散列，意思就是不只要使用一个散列函数。咱们使用一组散列函数 hash1(key)，hash2(key)，hash3(key)……咱们先用第一个散列函数，若是计算获得的存储位置已经被占用，再用第二个散列函数，依次类推，直到找到空闲的存储位置。

以上三种方法，在遇到插入的数据愈来愈多时，散列冲突发生的可能性也会愈来愈大，通常状况下，咱们都会在散列表中维持必定比例的空闲槽位，来保证效率．咱们用装载因子来表示空位的多少．

散列表的装载因子 = 填入表中的元素个数 / 散列表的长度

装载因子越大，说明空闲位置越少，冲突越多，散列表的性能会降低。

2. 链表法

链表法是一种更加经常使用的散列冲突解决办法，相比开放寻址法，它要简单不少。咱们来看这个图，在散列表中，每一个“桶（bucket）”或者“槽（slot）”会对应一条链表(其实就是相似于邻接表，不是吗？)，全部散列值相同的元素咱们都放到相同槽位对应的链表中。

当插入的时候，直接找到对应的槽位，头插链表便可，时间复杂度为O(1)．查找与删除天然须要遍历对应的整个链表完成，时间复杂度是O(k)，ｋ是指链表长度．对于散列比较均匀的散列函数来讲，理论上讲，k=n/m，其中 n 表示散列中数据的个数，m 表示散列表中“槽”的个数。

一些思考题：

1. Word文档中的单词拼写检查功能是如何实现的?

日常所用的单词就20万个，而一个单词假设有10个字母，那么就是2百万的字母，即2百万字节，也就是2MB，再大点也就是200MB，计算机内存彻底能够放得下，因此咱们使用散列表来存储整个英文词典

当用户输入某个英文单词时，咱们拿用户输入的单词去散列表中查找。若是查到，则说明拼写正确；若是没有查到，则说明拼写可能有误，给予提示。借助散列表这种数据结构，咱们就能够轻松实现快速判断是否存在拼写错误。

---

2. 假设咱们有 10 万条 URL 访问日志，如何按照访问次数给 URL 排序？

答：这道题刚开始我不明白是什么个意思，后来看了答案，品了几天，算是终于明白了．

首先咱们要搞清楚排序的对象是什么？其实很明显，就是URL，只不过得按照访问次数进行排序．好比下面这个的例子：

www.1111.xxxxx
www.2222.xxx
www.1111.xxxxx

那么结果是什么呐？

www.1111.xxxxx
www.2222.xxx

就是上面这样就好了

由例子可知，咱们必须遍历一遍，找到对应的URL的访问次数和去掉重复的URL．
而后咱们去按照访问次数排序去掉重复的URL的URL集合便可．

sort(set.bagin(),set.end(),[](string lhs,string rhs){
	return HashTable[hashfun(lhs)] < HashTable[hashfun(rhs)]; 
	//　按照访问次数排序`URL`集合
}

---

3. 有两个字符串数组，每一个数组大约有 10 万条字符串，如何快速找出两个数组中相同的字符串？

答：以第一个字符串数组为基准创建散列表．具体以字符串为 key ，以出现次数为value ，默认为0．而后遍历第二个字符串数组，用每个字符串去找，若是value != 0 ，就说明找到一个两个数组中相同的字符串．

---

由以上可知，散列表的查询效率与散列函数，装载因子等有莫大的关系．若是使用的是链表，就有可能从O(1)的查询效率退化为O(n)，这是咱们不容许的．那么如何解决这个问题呐？或者说是咱们如何设计一个能够应对各类异常状况的工业级散列表，来避免在散列冲突的状况下，散列表性能的急剧降低，而且能抵抗散列碰撞攻击？这就是咱们这一节要谈论的问题了

如何设计散列函数？

一个好的散列函数应该具备如下几点：

• 散列函数的设计不能太复杂。(过于复杂的散列函数，势必会消耗不少计算时间，也就间接的影响到散列表的性能　)
• 散列函数生成的值要尽量随机而且均匀分布．（这样才能避免或者最小化散列冲突，并且即使出现冲突，散列到每一个槽里的数据也会比较平均，不会出现某个槽内数据特别多的状况。）

散列函数主要有：直接寻址法、平方取中法、折叠法、随机数法，数据分析法等（这些只要了解就好了）

提问：散列函数的做用究竟是什么？

答：将key转换为数组的索引 hashfun(key)

装载因子过大了怎么办？

散列表基于数组设计，在申请时就固定了大小．因此对于动态频繁的散列表来说，装载因子也必定会变得愈来愈大．一个能够采起的方法就是：动态扩容（其实就和vector同样）

从新申请一个更大的散列表，将数据搬移到这个新散列表中。假设每次扩容咱们都申请一个原来散列表大小两倍的空间。若是原来散列表的装载因子是 0.8，那通过扩容以后，新散列表的装载因子就降低为原来的一半，变成了 0.4。

针对数组的扩容，数据搬移操做比较简单。可是，针对散列表的扩容，数据搬移操做要复杂不少。由于散列表的大小变了，数据的存储位置也变了，因此咱们须要经过散列函数从新计算每一个数据的存储位置。

你能够看我图里这个例子。在原来的散列表中，21 这个元素原来存储在下标为 0 的位置，搬移到新的散列表中，存储在下标为 7 的位置。

插入时间复杂度：

插入一个数据，最好状况下，不须要扩容，最好时间复杂度是 O(1)。最坏状况下，散列表装载因子太高，启动扩容，咱们须要从新申请内存空间，从新计算哈希位置，而且搬移数据，因此时间复杂度是 O(n)。用摊还分析法，均摊状况下，时间复杂度接近最好状况，就是 O(1)。

若是随着删除的元素愈来愈多，散列表能够选择缩容（和扩容相似），另外，装载因子的阀值要更具实际状况肯定．

如何避免低效地扩容？

何之为低效：插入致使扩容，假设数据1GB，操做过程为　**申请空间->将旧数据搬移到新的空间->从新计算哈希值->插入．**用脑子想，这确定会很慢．

解决方法：

将扩容操做穿插在插入操做的过程当中，分批完成。当装载因子触达阈值以后，咱们只申请新空间，但并不将老的数据搬移到新散列表中。

当有新数据要插入时，咱们将新数据插入新散列表中，而且从老的散列表中拿出一个数据放入到新散列表。每次插入一个数据(其实不必定一个数据啦)到散列表，咱们都重复上面的过程。通过屡次插入操做以后，老的散列表中的数据就一点一点所有搬移到新散列表中了。这样没有了集中的一次性数据搬移，插入操做就都变得很快了。

这种实现方式，任何状况下，插入一个数据的时间复杂度都是 O(1)。不知道vector是否是这样作的呐？（我下来研究一下）

如何查询：先重新散列表中查找，若是没有找到，再去老的散列表中查找。

如何选择冲突解决方法？

1.开放寻址法

• 优势

  • 数据都存储在数组中，能够有效地利用 CPU 缓存加快查询速度
  • 序列化起来比较简单

• 缺点

  • 删除数据的时候比较麻烦
  • 冲突的代价更高

• 适用场景

  当数据量比较小、装载因子小（< 1）的时候，适合采用开放寻址法。这也是 Java 中的ThreadLocalMap使用开放寻址法解决散列冲突的缘由。

2.链表法的适用场景

• 优势

  • 不会大量浪费内存（由于是链表嘛，对吧）
  • 对大装载因子的容忍度更高(只要散列函数随即均匀，他是多少几乎都可以接受)

• 缺点

  • 对 CPU 缓存是不友好的（由于是链表嘛，对吧）
  • 比较小的对象的存储，是比较消耗内存的(有可能一个指针的大小都会比存储对象要大哦)

• 适用场景

  基于链表的散列冲突处理方法比较适合存储大对象、大数据量的散列表，并且，比起开放寻址法，它更加灵活，支持更多的优化策略，好比用红黑树代替链表。

极端状况下，全部的数据都散列到同一个桶内，那最终退化成的散列表的查找时间也只不过是 O(logn)。这样也就有效避免了前面讲到的散列碰撞攻击。

工业级散列表举例分析 (Java 中的 HashMap)

1. 初始大小

HashMap 默认的初始大小是 16，固然这个默认值是能够设置的，若是事先知道大概的数据量有多大，能够经过修改默认初始大小，减小动态扩容的次数，这样会大大提升 HashMap 的性能。

2. 装载因子和动态扩容

最大装载因子默认是 0.75，当 HashMap 中元素个数超过 0.75*capacity（capacity 表示散列表的容量）的时候，就会启动扩容，每次扩容都会扩容为原来的两倍大小。

3. 散列冲突解决方法

HashMap 底层采用链表法来解决冲突。即便负载因子和散列函数设计得再合理，也免不了会出现拉链过长的状况，一旦出现拉链过长，则会严重影响 HashMap 的性能。

因而，在 JDK1.8 版本中，为了对 HashMap 作进一步优化，咱们引入了红黑树。而当链表长度太长（默认超过 8）时，链表就转换为红黑树。咱们能够利用红黑树快速增删改查的特色，提升 HashMap 的性能。当红黑树结点个数少于 8 个的时候，又会将红黑树转化为链表。由于在数据量较小的状况下，红黑树要维护平衡，比起链表来，性能上的优点并不明显。

4. 散列函数

int hash(Object key) {
    int h = key.hashCode()；
    return (h ^ (h >>> 16)) & (capitity -1); //capicity 表示散列表的大小
}

5.如何设计一个工业级别的散列表？

何为一个工业级的散列表？工业级的散列表应该具备哪些特性？
结合已经学习过的散列知识，我以为应该有这样几点要求：

• 支持快速的查询、插入、删除操做；
• 内存占用合理，不能浪费过多的内存空间；
• 性能稳定，极端状况下，散列表的性能也不会退化到没法接受的状况。 **

如何实现这样一个散列表呢**？根据前面讲到的知识，我会从这三个方面来考虑设计思路：

• 设计一个合适的散列函数；
• 定义装载因子阈值，而且设计动态扩容策略；
• 选择合适的散列冲突解决方法。

只要咱们朝这三个方向努力，就离设计出工业级的散列表不远了。

hash表是必需要存储在内存中才能发挥功效，要注意这一点