崩溃了，一个HashMap跟面试官扯了半个小时（装逼必备）

时间  2020-05-10
标签 崩溃 一个 hashmap 面试 扯了 半个 小时 必备 栏目 快乐工作 繁體版
原文   原文链接

HashMap应该算是Java后端工程师面试的必问题，由于其中的知识点太多，很适合用来考察面试者的Java基础。程序员

面试官: 你先自我介绍一下吧！面试

我: 我是安琪拉，草丛三婊之一，最强中单（钟馗不服）！哦，不对，串场了，我是**，目前在--公司作--系统开发。算法

面试官: 看你简历上写熟悉Java集合，HashMap用过的吧？后端

我: 用过的。(仍是熟悉的味道)数组

面试官: 那你跟我讲讲HashMap的内部数据结构？安全

我: 目前我用的是JDK1.8版本的，内部使用数组 + 链表 / 红黑树；数据结构

我: 方便我给您画个数据结构图吧：多线程

崩溃了，一个HashMap跟面试官扯了半个小时（装逼必备）


面试官: 那你清楚HashMap的数据插入原理吗？架构

我: 呃[作沉思状]。我以为仍是应该画个图比较清楚，以下：并发

崩溃了，一个HashMap跟面试官扯了半个小时（装逼必备）


  1. 判断数组是否为空，为空进行初始化;

  2. 不为空，计算 k 的 hash 值，经过 (n - 1) & hash计算应当存放在数组中的下标 index ;

  3. 查看 table[index] 是否存在数据，没有数据就构造一个Node节点存放在 table[index] 中；

  4. 存在数据，说明发生了hash冲突, 继续判断key是否相等，相等，用新的value替换原数据(onlyIfAbsent为false)；

  5. 若是不相等，判断当前节点类型是否是树型节点，若是是树型节点，建立树型节点插入红黑树中；

  6. 若是不是树型节点，建立普通Node加入链表中；判断链表长度是否大于 8， 大于的话链表转换为红黑树；

  7. 插入完成以后判断当前节点数是否大于阈值，若是大于开始扩容为原数组的二倍。

面试官: 刚才你提到HashMap的初始化，那HashMap怎么设定初始容量大小的吗？

我: [这也算问题？?] 通常若是new HashMap() 不传值，默认大小是16，负载因子是0.75， 若是本身传入初始大小k，初始化大小为 大于k的 2的整数次方，例如若是传10，大小为16。（补充说明:实现代码以下）

崩溃了，一个HashMap跟面试官扯了半个小时（装逼必备）


补充说明：下图是详细过程，算法就是让初始二进制分别右移1，2，4，8，16位，与本身异或，把高位第一个为1的数经过不断右移，把高位为1的后面全变为1，111111 + 1 = 1000000 = （符合大于50而且是2的整数次幂 ）

崩溃了，一个HashMap跟面试官扯了半个小时（装逼必备）


面试官: 你提到hash函数，你知道HashMap的哈希函数怎么设计的吗？

我: [问的还挺细] hash函数是先拿到经过key 的hashcode，是32位的int值，而后让hashcode的高16位和低16位进行异或操做。

崩溃了，一个HashMap跟面试官扯了半个小时（装逼必备）


面试官: 那你知道为何这么设计吗？

我: [这也要问]，这个也叫扰动函数，这么设计有二点缘由：

  1. 必定要尽量下降hash碰撞，越分散越好；

  2. 算法必定要尽量高效，由于这是高频操做, 所以采用位运算；

面试官: 为何采用hashcode的高16位和低16位异或能下降hash碰撞？hash函数能不能直接用key的hashcode？

[这问题有点刁钻], 安琪拉差点原地了，巴不得出biubiubiu 二一三连招。

我: 由于 key.hashCode() 函数调用的是key键值类型自带的哈希函数，返回int型散列值。int值范围为**-2147483648~2147483647**，先后加起来大概40亿的映射空间。只要哈希函数映射得比较均匀松散，通常应用是很难出现碰撞的。但问题是一个40亿长度的数组，内存是放不下的。你想，若是HashMap数组的初始大小才16，用以前须要对数组的长度取模运算，获得的余数才能用来访问数组下标。

源码中模运算就是把散列值和数组长度-1作一个"与"操做，位运算比%运算要快。

崩溃了，一个HashMap跟面试官扯了半个小时（装逼必备）


顺便说一下，这也正好解释了为何HashMap的数组长度要取2的整数幂。由于这样（数组长度-1）正好至关于一个“低位掩码”。“与”操做的结果就是散列值的高位所有归零，只保留低位值，用来作数组下标访问。以初始长度16为例，16-1=15。2进制表示是00000000 00000000 00001111。和某散列值作“与”操做以下，结果就是截取了最低的四位值。

崩溃了，一个HashMap跟面试官扯了半个小时（装逼必备）


但这时候问题就来了，这样就算个人散列值分布再松散，要是只取最后几位的话，碰撞也会很严重。更要命的是若是散列自己作得很差，分布上成等差数列的漏洞，若是正好让最后几个低位呈现规律性重复，就无比蛋疼。

这时候 hash 函数（“扰动函数”）的价值就体现出来了，说到这里你们应该猜出来了。看下面这个图，

崩溃了，一个HashMap跟面试官扯了半个小时（装逼必备）


右位移16位，正好是32bit的一半，本身的高半区和低半区作异或，就是为了混合原始哈希码的高位和低位，以此来加大低位的随机性。并且混合后的低位掺杂了高位的部分特征，这样高位的信息也被变相保留下来。

最后咱们来看一下Peter Lawley的一篇专栏文章《An introduction to optimising a hashing strategy》里的的一个实验：他随机选取了352个字符串，在他们散列值彻底没有冲突的前提下，对它们作低位掩码，取数组下标。

崩溃了，一个HashMap跟面试官扯了半个小时（装逼必备）


结果显示，当HashMap数组长度为512的时候（），也就是用掩码取低9位的时候，在没有扰动函数的状况下，发生了103次碰撞，接近30%。而在使用了扰动函数以后只有92次碰撞。碰撞减小了将近10%。看来扰动函数确实仍是有功效的。

另外Java1.8相比1.7作了调整，1.7作了四次移位和四次异或，但明显Java 8以为扰动作一次就够了，作4次的话，多了可能边际效用也不大，所谓为了效率考虑就改为一次了。

下面是1.7的hash代码：

崩溃了，一个HashMap跟面试官扯了半个小时（装逼必备）


面试官: 看来作过功课，有点料啊！是否是偷偷看了安琪拉的博客公众号, 你刚刚说到1.8对hash函数作了优化，1.8还有别的优化吗？

我: 1.8还有三点主要的优化：

  1. 数组+链表改为了数组+链表或红黑树；

  2. 链表的插入方式从头插法改为了尾插法，简单说就是插入时，若是数组位置上已经有元素，1.7将新元素放到数组中，原始节点做为新节点的后继节点，1.8遍历链表，将元素放置到链表的最后；

  3. 扩容的时候1.7须要对原数组中的元素进行从新hash定位在新数组的位置，1.8采用更简单的判断逻辑，位置不变或索引+旧容量大小；

  4. 在插入时，1.7先判断是否须要扩容，再插入，1.8先进行插入，插入完成再判断是否须要扩容；

面试官: 你分别跟我讲讲为何要作这几点优化；

我: 【咳咳，果真是连环炮】

  1. 防止发生hash冲突，链表长度过长，将时间复杂度由O(n)降为O(logn);

  2. 由于1.7头插法扩容时，头插法会使链表发生反转，多线程环境下会产生环；

A线程在插入节点B，B线程也在插入，遇到容量不够开始扩容，从新hash，放置元素，采用头插法，后遍历到的B节点放入了头部，这样造成了环，以下图所示：

崩溃了，一个HashMap跟面试官扯了半个小时（装逼必备）


1.7的扩容调用transfer代码，以下所示：

崩溃了，一个HashMap跟面试官扯了半个小时（装逼必备）


扩容的时候为何1.8 不用从新hash就能够直接定位原节点在新数据的位置呢?

这是因为扩容是扩大为原数组大小的2倍，用于计算数组位置的掩码仅仅只是高位多了一个1，举个例子：

扩容前长度为16，用于计算 (n-1) & hash 的二进制n - 1为0000 1111，

扩容后为32后的二进制就高位多了1，============>为0001 1111。

由于是& 运算，1和任何数 & 都是它自己，那就分二种状况，以下图：原数据hashcode高位第4位为0和高位为1的状况；

第四位高位为0，从新hash数值不变，第四位为1，从新hash数值比原来大16（旧数组的容量）

崩溃了，一个HashMap跟面试官扯了半个小时（装逼必备）


面试官: 那HashMap是线程安全的吗？

我: 不是，在多线程环境下，1.7 会产生死循环、数据丢失、数据覆盖的问题，1.8 中会有数据覆盖的问题。

以1.8为例，当A线程执行到下面代码第6行判断index位置为空后正好挂起，B线程开始执行第7 行，往index位置的写入节点数据，这时A线程恢复现场，执行赋值操做，就把A线程的数据给覆盖了；

还有第38行++size这个地方也会形成多线程同时扩容等问题。

final V putVal(int hash, K key, V value, boolean onlyIfAbsent,
               boolean evict) {
  Node<K,V>[] tab; Node<K,V> p; int n, i;
  if ((tab = table) == null || (n = tab.length) == 0)
    n = (tab = resize()).length;
  if ((p = tab[i = (n - 1) & hash]) == null)  //多线程执行到这里
    tab[i] = newNode(hash, key, value, null);
  else {
    Node<K,V> e; K k;
    if (p.hash == hash &&
        ((k = p.key) == key || (key != null && key.equals(k))))
      e = p;
    else if (p instanceof TreeNode)
      e = ((TreeNode<K,V>)p).putTreeVal(this, tab, hash, key, value);
    else {
      for (int binCount = 0; ; ++binCount) {
        if ((e = p.next) == null) {
          p.next = newNode(hash, key, value, null);
          if (binCount >= TREEIFY_THRESHOLD - 1) // -1 for 1st
            treeifyBin(tab, hash);
          break;
        }
        if (e.hash == hash &&
            ((k = e.key) == key || (key != null && key.equals(k))))
          break;
        p = e;
      }
    }
    if (e != null) { // existing mapping for key
      V oldValue = e.value;
      if (!onlyIfAbsent || oldValue == null)
        e.value = value;
      afterNodeAccess(e);
      return oldValue;
    }
  }
  ++modCount;
  if (++size > threshold) // 多个线程走到这，可能重复resize()
    resize();
  afterNodeInsertion(evict);
  return null;
}

面试官: 那你日常怎么解决这个线程不安全的问题？

我: Java中有HashTable、Collections.synchronizedMap、以及ConcurrentHashMap能够实现线程安全的Map。

  • HashTable是直接在操做方法上加synchronized关键字，锁住整个数组，粒度比较大；

  • Collections.synchronizedMap是使用Collections集合工具的内部类，经过传入Map封装出一个SynchronizedMap对象，内部定义了一个对象锁，方法内经过对象锁实现；

  • ConcurrentHashMap使用分段锁，下降了锁粒度，让并发度大大提升。

面试官: 那你知道ConcurrentHashMap的分段锁的实现原理吗？

我: 【天啦撸! 俄罗斯套娃，一个套一个】ConcurrentHashMap成员变量使用volatile 修饰，免除了指令重排序，同时保证内存可见性，另外使用CAS操做和synchronized结合实现赋值操做，多线程操做只会锁住当前操做索引的节点。

以下图，线程A锁住A节点所在链表，线程B锁住B节点所在链表，操做互不干涉。

崩溃了，一个HashMap跟面试官扯了半个小时（装逼必备）


面试官: 你前面提到链表转红黑树是链表长度达到阈值，这个阈值是多少？

我: 阈值是8，红黑树转链表阈值为6

面试官: 为何是8，不是16，32甚至是7 ？又为何红黑树转链表的阈值是6，不是8了呢？

我: 【你去问做者啊！天啦撸，biubiubiu 真想213连招】

由于做者就这么设计的，哦，不对，由于通过计算，在hash函数设计合理的状况下，发生hash碰撞8次的概率为百万分之6，几率说话。。由于8够用了，至于为何转回来是6，由于若是hash碰撞次数在8附近徘徊，会一直发生链表和红黑树的转化，为了预防这种状况的发生。

面试官: HashMap内部节点是有序的吗？

我: 是无序的，根据hash值随机插入

面试官: 那有没有有序的Map？

我: LinkedHashMap 和 TreeMap

面试官: 跟我讲讲LinkedHashMap怎么实现有序的？

我: LinkedHashMap内部维护了一个单链表，有头尾节点，同时LinkedHashMap节点Entry内部除了继承HashMap的Node属性，还有before 和 after用于标识前置节点和后置节点。能够实现按插入的顺序或访问顺序排序。

崩溃了，一个HashMap跟面试官扯了半个小时（装逼必备）


示例代码：

崩溃了，一个HashMap跟面试官扯了半个小时（装逼必备）


面试官: 跟我讲讲TreeMap怎么实现有序的？

我：TreeMap是按照Key的天然顺序或者Comprator的顺序进行排序，内部是经过红黑树来实现。因此要么key所属的类实现Comparable接口，或者自定义一个实现了Comparator接口的比较器，传给TreeMap用户key的比较。

面试官: 前面提到经过CAS 和 synchronized结合实现锁粒度的下降，你能给我讲讲CAS 的实现以及synchronized的实现原理吗？

我: 下一期咋们再约时间，OK？

面试官: 好吧，回去等通知吧！

推荐阅读：


TCP的三次握手，四次挥手加IP、SOCKET全景图，面试有备无患！

https://www.bilibili.com/video/BV1HQ4y1M7oe/

资深架构师马士兵读解多线程、线程池原理，给Java程序员职业把脉，让你薪资

翻一翻：https://www.bilibili.com/video/BV1BE411A78Z/

阿里P9架构师120分钟带你掌握线程池，不在为线程而烦恼

https://www.bilibili.com/video/BV1GE411N7sc/

相关文章
相关标签/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公众号
   欢迎关注本站公众号,获取更多信息
联系我们 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程