其余更多java基础文章: java基础学习(目录)java
学习资料
HashMap 源码详细分析(JDK1.8)
Java 8系列之从新认识HashMap
Java集合:HashMap详解(JDK 1.8)node
本文将不讲红黑树相关的内容,由于我本身也还没弄懂,下一步将算法和数据结构看完后,会写一篇源码分析(二)做为后续。程序员
HashMap是Java程序员使用频率最高的用于映射(键值对)处理的数据类型。随着JDK(Java Developmet Kit)版本的更新,JDK1.8对HashMap底层的实现进行了优化,例如引入红黑树的数据结构和扩容的优化等。本文结合JDK1.7和JDK1.8的区别,深刻探讨HashMap的结构实现和功能原理。算法
Java为数据结构中的映射定义了一个接口java.util.Map,此接口主要有四个经常使用的实现类,分别是HashMap、Hashtable、LinkedHashMap和TreeMap,类继承关系以下图所示:数组
下面针对各个实现类的特色作一些说明:安全
(1) HashMap:它根据键的hashCode值存储数据,大多数状况下能够直接定位到它的值,于是具备很快的访问速度,但遍历顺序倒是不肯定的。 HashMap最多只容许一条记录的键为null,容许多条记录的值为null。HashMap非线程安全,即任一时刻能够有多个线程同时写HashMap,可能会致使数据的不一致。若是须要知足线程安全,能够用 Collections的synchronizedMap方法使HashMap具备线程安全的能力,或者使用ConcurrentHashMap。bash
(2) Hashtable:Hashtable是遗留类,不少映射的经常使用功能与HashMap相似,不一样的是它承自Dictionary类,而且是线程安全的,任一时间只有一个线程能写Hashtable,并发性不如ConcurrentHashMap,由于ConcurrentHashMap引入了分段锁。Hashtable不建议在新代码中使用,不须要线程安全的场合能够用HashMap替换,须要线程安全的场合能够用ConcurrentHashMap替换。数据结构
(3) LinkedHashMap:LinkedHashMap是HashMap的一个子类,保存了记录的插入顺序,在用Iterator遍历LinkedHashMap时,先获得的记录确定是先插入的,也能够在构造时带参数,按照访问次序排序。多线程
(4) TreeMap:TreeMap实现SortedMap接口,可以把它保存的记录根据键排序,默认是按键值的升序排序,也能够指定排序的比较器,当用Iterator遍历TreeMap时,获得的记录是排过序的。若是使用排序的映射,建议使用TreeMap。在使用TreeMap时,key必须实现Comparable接口或者在构造TreeMap传入自定义的Comparator,不然会在运行时抛出java.lang.ClassCastException类型的异常。并发
对于上述四种Map类型的类,要求映射中的key是不可变对象。不可变对象是该对象在建立后它的哈希值不会被改变。若是对象的哈希值发生变化,Map对象极可能就定位不到映射的位置了。
经过上面的比较,咱们知道了HashMap是Java的Map家族中一个普通成员,鉴于它能够知足大多数场景的使用条件,因此是使用频度最高的一个。下文咱们主要结合源码,从存储结构、经常使用方法分析、扩容以及安全性等方面深刻讲解HashMap的工做原理。
搞清楚HashMap,首先须要知道HashMap是什么,即它的存储结构-字段;其次弄明白它能干什么,即它的功能实现-方法。下面咱们针对这两个方面详细展开讲解。
从结构实现来说,HashMap是数组+链表+红黑树(JDK1.8增长了红黑树部分)实现的,以下如所示。
咱们先了解一下HashMap的基础字段和属性
static final int DEFAULT_INITIAL_CAPACITY = 1 << 4; // 默认table容量16
static final int MAXIMUM_CAPACITY = 1 << 30; //容量最大值为2的30次方
static final float DEFAULT_LOAD_FACTOR = 0.75f;//默认负载因子
static final int MIN_TREEIFY_CAPACITY = 64; //最小使用红黑树的容量
transient Node<K,V>[] table;//用于存放Node的数组
transient int size; //hashmap实际存储的Node(键值对)个数
transient int modCount; //记录HashMap内部结构发生变化的次数
int threshold; //HashMap所能容纳的最大数据量的Node(键值对)个数
final float loadFactor;//负载因子
复制代码
HashMap类中有一个很是重要的字段,就是 Node[] table,即哈希桶数组,明显它是一个Node的数组。咱们来看Node[JDK1.8]是何物。
static class Node<K,V> implements Map.Entry<K,V> {
final int hash; //用来定位数组索引位置
final K key;
V value;
Node<K,V> next; //链表的下一个node
Node(int hash, K key, V value, Node<K,V> next) { ... }
public final K getKey(){ ... }
public final V getValue() { ... }
public final String toString() { ... }
public final int hashCode() { ... }
public final V setValue(V newValue) { ... }
public final boolean equals(Object o) { ... }
}
复制代码
Node
是HashMap的一个内部类,实现了Map.Entry接口,本质是就是一个映射(键值对)。上图中的每一个黑色圆点就是一个Node对象。
Node[] table的
初始化长度length(默认值是16),loadFactor
为负载因子(默认值是0.75),threshold
是HashMap所能容纳的最大数据量的Node(键值对)个数。threshold = length * Load factor
。也就是说,在数组定义好长度以后,负载因子越大,所能容纳的键值对个数越多。
结合负载因子的定义公式可知,threshold
就是在此Load factor和length(数组长度)对应下容许的最大元素数目,超过这个数目就从新resize(扩容),扩容后的HashMap容量是以前容量的两倍。默认的负载因子0.75是对空间和时间效率的一个平衡选择,建议你们不要修改,除非在时间和空间比较特殊的状况下,若是内存空间不少而又对时间效率要求很高,能够下降负载因子Load factor的值;相反,若是内存空间紧张而对时间效率要求不高,能够增长负载因子loadFactor的值,这个值能够大于1。
size
这个字段其实很好理解,就是HashMap中实际存在的键值对数量。注意和table的长度length、容纳最大键值对数量threshold的区别。而modCount字段主要用来记录HashMap内部结构发生变化的次数,主要用于迭代的快速失败。强调一点,内部结构发生变化指的是结构发生变化,例如put新键值对,可是某个key对应的value值被覆盖不属于结构变化。
无论增长、删除、查找键值对,定位到哈希桶数组的位置都是很关键的第一步。前面说过HashMap的数据结构是“数组+链表+红黑树”的结合,因此咱们固然但愿这个HashMap里面的元素位置尽可能分布均匀些,尽可能使得每一个位置上的元素数量只有一个,那么当咱们用hash算法求得这个位置的时候,立刻就能够知道对应位置的元素就是咱们要的,不用遍历链表/红黑树,大大优化了查询的效率。HashMap定位数组索引位置,直接决定了hash方法的离散性能。下面是定位哈希桶数组的源码:
// 代码1
static final int hash(Object key) { // 计算key的hash值
int h;
// 1.先拿到key的hashCode值; 2.将hashCode的高16位参与运算
return (key == null) ? 0 : (h = key.hashCode()) ^ (h >>> 16);
}
// 代码2
int n = tab.length;
// 将(tab.length - 1) 与 hash值进行&运算
int index = (n - 1) & hash;
复制代码
整个过程本质上就是三步:
对于任意给定的对象,只要它的hashCode()返回值相同,那么计算获得的hash值老是相同的。为了使元素在数组桶table里分布均匀一点,咱们首先想到的就是把hash值对table长度取模运算
可是模运算消耗仍是比较大的,咱们知道计算机比较快的运算为位运算,所以JDK团队对取模运算进行了优化,使用上面代码2的位与运算来代替模运算。这个方法很是巧妙,它经过 “(table.length -1) & h” 来获得该对象的索引位置,这个优化是基于如下公式:x mod 2^n = x & (2^n - 1)
。咱们知道HashMap底层数组的长度老是2的n次方,而且取模运算为“h mod table.length”,对应上面的公式,能够获得该运算等同于**“h mod table.length = h & (table.length - 1)”**。这是HashMap在速度上的优化,由于&比%具备更高的效率。
在JDK1.8的实现中,还优化了高位运算的算法,将hashCode的高16位与hashCode进行异或运算,主要是为了在table的length较小的时候,让高位也参与运算,而且不会有太大的开销。
下图是一个简单的例子,table长度为16:
public V put(K key, V value) {
return putVal(hash(key), key, value, false, true);
}
final V putVal(int hash, K key, V value, boolean onlyIfAbsent,
boolean evict) {
Node<K,V>[] tab; Node<K,V> p; int n, i;
// table是否为空或者length等于0, 若是是则调用resize方法进行初始化
if ((tab = table) == null || (n = tab.length) == 0)
n = (tab = resize()).length;
// 经过hash值计算索引位置, 若是table表该索引位置节点为空则新增一个
if ((p = tab[i = (n - 1) & hash]) == null)// 将索引位置的头节点赋值给p
tab[i] = newNode(hash, key, value, null);
else { // table表该索引位置不为空
Node<K,V> e; K k;
if (p.hash == hash && // 判断p节点的hash值和key值是否跟传入的hash值和key值相等
((k = p.key) == key || (key != null && key.equals(k))))
e = p; // 若是相等, 则p节点即为要查找的目标节点,赋值给e
// 判断p节点是否为TreeNode, 若是是则调用红黑树的putTreeVal方法查找目标节点
else if (p instanceof TreeNode)
e = ((TreeNode<K,V>)p).putTreeVal(this, tab, hash, key, value);
else { // 走到这表明p节点为普通链表节点
for (int binCount = 0; ; ++binCount) { // 遍历此链表, binCount用于统计节点数
if ((e = p.next) == null) { // p.next为空表明不存在目标节点则新增一个节点插入链表尾部
p.next = newNode(hash, key, value, null);
// 计算节点是否超过8个, 减一是由于循环是从p节点的下一个节点开始的
if (binCount >= TREEIFY_THRESHOLD - 1)
treeifyBin(tab, hash);// 若是超过8个,调用treeifyBin方法将该链表转换为红黑树
break;
}
if (e.hash == hash && // e节点的hash值和key值都与传入的相等, 则e即为目标节点,跳出循环
((k = e.key) == key || (key != null && key.equals(k))))
break;
p = e; // 将p指向下一个节点
}
}
// e不为空则表明根据传入的hash值和key值查找到了节点,将该节点的value覆盖,返回oldValue
if (e != null) {
V oldValue = e.value;
if (!onlyIfAbsent || oldValue == null)
e.value = value;
afterNodeAccess(e); // 用于LinkedHashMap
return oldValue;
}
}
++modCount;
if (++size > threshold) // 插入节点后超过阈值则进行扩容
resize();
afterNodeInsertion(evict); // 用于LinkedHashMap
return null;
}
复制代码
final Node<K,V>[] resize() {
Node<K,V>[] oldTab = table;
int oldCap = (oldTab == null) ? 0 : oldTab.length;
int oldThr = threshold;
int newCap, newThr = 0;
if (oldCap > 0) { // 老table不为空
if (oldCap >= MAXIMUM_CAPACITY) { // 老table的容量超过最大容量值
threshold = Integer.MAX_VALUE; // 设置阈值为Integer.MAX_VALUE
return oldTab;
}
// 若是容量*2<最大容量而且>=16, 则将阈值设置为原来的两倍
else if ((newCap = oldCap << 1) < MAXIMUM_CAPACITY &&
oldCap >= DEFAULT_INITIAL_CAPACITY)
newThr = oldThr << 1; // double threshold
}
else if (oldThr > 0) // 老表的容量为0, 老表的阈值大于0, 是由于初始容量被放入阈值
newCap = oldThr; // 则将新表的容量设置为老表的阈值
else { // 老表的容量为0, 老表的阈值为0, 则为空表,设置默认容量和阈值
newCap = DEFAULT_INITIAL_CAPACITY;
newThr = (int)(DEFAULT_LOAD_FACTOR * DEFAULT_INITIAL_CAPACITY);
}
if (newThr == 0) { // 若是新表的阈值为空, 则经过新的容量*负载因子得到阈值
float ft = (float)newCap * loadFactor;
newThr = (newCap < MAXIMUM_CAPACITY && ft < (float)MAXIMUM_CAPACITY ?
(int)ft : Integer.MAX_VALUE);
}
threshold = newThr; // 将当前阈值赋值为刚计算出来的新的阈值
@SuppressWarnings({"rawtypes","unchecked"})
// 定义新表,容量为刚计算出来的新容量
Node<K,V>[] newTab = (Node<K,V>[])new Node[newCap];
table = newTab; // 将当前的表赋值为新定义的表
if (oldTab != null) { // 若是老表不为空, 则需遍历将节点赋值给新表
for (int j = 0; j < oldCap; ++j) {
Node<K,V> e;
if ((e = oldTab[j]) != null) { // 将索引值为j的老表头节点赋值给e
oldTab[j] = null; // 将老表的节点设置为空, 以便垃圾收集器回收空间
// 若是e.next为空, 则表明老表的该位置只有1个节点,
// 经过hash值计算新表的索引位置, 直接将该节点放在该位置
if (e.next == null)
newTab[e.hash & (newCap - 1)] = e;
else if (e instanceof TreeNode)
// 调用treeNode的hash分布(跟下面最后一个else的内容几乎相同)
((TreeNode<K,V>)e).split(this, newTab, j, oldCap);
else { // preserve order
Node<K,V> loHead = null, loTail = null; // 存储跟原索引位置相同的节点
Node<K,V> hiHead = null, hiTail = null; // 存储索引位置为:原索引+oldCap的节点
Node<K,V> next;
do {
next = e.next;
//若是e的hash值与老表的容量进行与运算为0,则扩容后的索引位置跟老表的索引位置同样
if ((e.hash & oldCap) == 0) {
if (loTail == null) // 若是loTail为空, 表明该节点为第一个节点
loHead = e; // 则将loHead赋值为第一个节点
else
loTail.next = e; // 不然将节点添加在loTail后面
loTail = e; // 并将loTail赋值为新增的节点
}
//若是e的hash值与老表的容量进行与运算为1,则扩容后的索引位置为:老表的索引位置+oldCap
else {
if (hiTail == null) // 若是hiTail为空, 表明该节点为第一个节点
hiHead = e; // 则将hiHead赋值为第一个节点
else
hiTail.next = e; // 不然将节点添加在hiTail后面
hiTail = e; // 并将hiTail赋值为新增的节点
}
} while ((e = next) != null);
if (loTail != null) {
loTail.next = null; // 最后一个节点的next设为空
newTab[j] = loHead; // 将原索引位置的节点设置为对应的头结点
}
if (hiTail != null) {
hiTail.next = null; // 最后一个节点的next设为空
newTab[j + oldCap] = hiHead; // 将索引位置为原索引+oldCap的节点设置为对应的头结点
}
}
}
}
}
return newTab;
}
复制代码
看完以后可能有个疑问,为何扩容后,节点的hash为何只可能分布在原索引位置与原索引+oldCap位置? 咱们来梳理一下,索引位置的计算主要有三步:**取key的hashCode值、高位运算、取模运算。**当咱们Node点不变时,第一第二步获得的结果hashcode是不变的,那么变化就在最后的取模运算h & (table.length - 1)
。咱们知道数组桶table的扩容是2的倍数。举个例子,假设老表的容量为16,即oldCap=16,此时的table.length-1为01111(其他高位0省略),扩容后新表容量为16*2=32。扩容后的table.length-1为11111(其他高位0省略)。此时的差别就在倒数第五位的数值。若是hashcode在倒数第5位为0(下图b的key1),则扩容后进行取模运算时,位置不变。反之若是hashcode在倒数第5位为1(下图b的key2),则与相比原来,增长了2^5(16),也就是oldCap的数值。
这就是JDK1.8相对于JDK1.7作的优化,顺便提一下在JDK1.7中的逻辑,由于这部分有很多细节改动。
void resize(int newCapacity) { //传入新的容量
Entry[] oldTable = table; //引用扩容前的Entry数组
int oldCapacity = oldTable.length;
if (oldCapacity == MAXIMUM_CAPACITY) { //扩容前的数组大小若是已经达到最大(2^30)了
threshold = Integer.MAX_VALUE; //修改阈值为int的最大值(2^31-1),这样之后就不会扩容了
return;
}
Entry[] newTable = new Entry[newCapacity]; //初始化一个新的Entry数组
transfer(newTable); //!!将数据转移到新的Entry数组里
table = newTable; //HashMap的table属性引用新的Entry数组
threshold = (int)(newCapacity * loadFactor);//修改阈值
}
void transfer(Entry[] newTable) {
Entry[] src = table; //src引用了旧的Entry数组
int newCapacity = newTable.length;
for (int j = 0; j < src.length; j++) { //遍历旧的Entry数组
Entry<K,V> e = src[j]; //取得旧Entry数组的每一个元素
if (e != null) {
src[j] = null;//释放旧Entry数组的对象引用(for循环后,旧的Entry数组再也不引用任何对象)
do {
Entry<K,V> next = e.next;
int i = indexFor(e.hash, newCapacity); //!!从新计算每一个元素在数组中的位置
e.next = newTable[i]; //标记[1]
newTable[i] = e; //将元素放在数组上
e = next; //访问下一个Entry链上的元素
} while (e != null);
}
}
}
复制代码
newTable[i]的引用赋给了e.next,也就是使用了单链表的头插入方式,同一位置上新元素总会被放在链表的头部位置;这样先放在一个索引上的元素终会被放到Entry链的尾部(若是发生了hash冲突的话)。 下面举个例子说明下扩容过程。假设了咱们的hash算法就是简单的用key mod 一下表的大小(也就是数组的长度)。其中的哈希桶数组table的size=2, 因此key = 三、七、5,put顺序依次为 五、七、3。在mod 2之后都冲突在table[1]这里了。这里假设负载因子 loadFactor=1,即当键值对的实际大小size 大于 table的实际大小时进行扩容。接下来的三个步骤是哈希桶数组 resize成4,而后全部的Node从新rehash的过程。
由此能够看出,JDK1.8的扩容并不会致使链表顺序的倒序。并且JDK1.7扩容时致使的倒序还会在并发的多线程使用场景中使用HashMap可能形成死循环,这个在接下来的安全性中会详细讲。
public V get(Object key) {
Node<K,V> e;
return (e = getNode(hash(key), key)) == null ? null : e.value;
}
final Node<K,V> getNode(int hash, Object key) {
Node<K,V>[] tab; Node<K,V> first, e; int n; K k;
// table不为空 && table长度大于0 && table索引位置(根据hash值计算出)不为空
if ((tab = table) != null && (n = tab.length) > 0 &&
(first = tab[(n - 1) & hash]) != null) {
if (first.hash == hash && // always check first node
((k = first.key) == key || (key != null && key.equals(k))))
return first; // first的key等于传入的key则返回first对象
if ((e = first.next) != null) { // 向下遍历
if (first instanceof TreeNode) // 判断是否为TreeNode
// 若是是红黑树节点,则调用红黑树的查找目标节点方法getTreeNode
return ((TreeNode<K,V>)first).getTreeNode(hash, key);
// 走到这表明节点为链表节点
do { // 向下遍历链表, 直至找到节点的key和传入的key相等时,返回该节点
if (e.hash == hash &&
((k = e.key) == key || (key != null && key.equals(k))))
return e;
} while ((e = e.next) != null);
}
}
return null; // 找不到符合的返回空
}
复制代码
在多线程使用场景中,应该尽可能避免使用线程不安全的HashMap,而使用线程安全的ConcurrentHashMap。那么为何说HashMap是线程不安全的,主要有两个方面:
1. put的时候多线程致使的数据不一致
好比有两个线程A和B,首先A但愿插入一个key-value对到HashMap中,首先计算记录所要落到的 hash桶的索引坐标,而后获取到该桶里面的链表头结点,此时线程A的时间片用完了,而此时线程B被调度得以执行,和线程A同样执行,只不过线程B成功将记录插到了桶里面,假设线程A插入的记录计算出来的 hash桶索引和线程B要插入的记录计算出来的 hash桶索引是同样的,那么当线程B成功插入以后,线程A再次被调度运行时,它依然持有过时的链表头可是它对此一无所知,以致于它认为它应该这样作,如此一来就覆盖了线程B插入的记录,这样线程B插入的记录就凭空消失了,形成了数据不一致的行为。
2. resize而引发死循环(JDK1.8已经不会出现该问题)
这种状况发生在JDK1.7 中HashMap自动扩容时,当2个线程同时检测到元素个数超过 数组大小 × 负载因子。此时2个线程会在put()方法中调用了resize(),两个线程同时修改一个链表结构会产生一个循环链表(JDK1.7中,会出现resize先后元素顺序倒置的状况)。接下来再想经过get()获取某一个元素,就会出现死循环。 下面举例子说明在并发的多线程使用场景中使用HashMap可能形成死循环。代码例子以下:
public class HashMapInfiniteLoop {
private static HashMap<Integer,String> map = new HashMap<Integer,String>(2,0.75f);
public static void main(String[] args) {
map.put(5, "C");
new Thread("Thread1") {
public void run() {
map.put(7, "B");
System.out.println(map);
};
}.start();
new Thread("Thread2") {
public void run() {
map.put(3, "A");
System.out.println(map);
};
}.start();
}
}
复制代码
其中,map初始化为一个长度为2的数组,loadFactor=0.75,threshold=2*0.75=1,也就是说当put第二个key的时候,map就须要进行resize。
经过设置断点让线程1和线程2同时debug到transfer方法(3.3小节代码块)的首行。注意此时两个线程已经成功添加数据。放开thread1的断点至transfer方法的“Entry next = e.next;” 这一行;而后放开线程2的的断点,让线程2进行resize。结果以下图。
注意,Thread1的 e 指向了key(3),而next指向了key(7),其在线程二rehash后,指向了线程二重组后的链表。
线程一被调度回来执行,先是执行 newTalbe[i] = e, 而后是e = next,致使了e指向了key(7),而下一次循环的next = e.next致使了next指向了key(3)。
e.next = newTable[i] 致使 key(3).next 指向了 key(7)。注意:此时的key(7).next 已经指向了key(3), 环形链表就这样出现了。
因而,当咱们用线程一调用map.get(11)时,悲剧就出现了——Infinite Loop。
HashMap中,若是key通过hash算法得出的数组索引位置所有不相同,即Hash算法很是好,那样的话,getKey方法的时间复杂度就是O(1),若是Hash算法技术的结果碰撞很是多,假如Hash算极其差,全部的Hash算法结果得出的索引位置同样,那样全部的键值对都集中到一个桶中,或者在一个链表中,或者在一个红黑树中,时间复杂度分别为O(n)和O(lgn)。 鉴于JDK1.8作了多方面的优化,整体性能优于JDK1.7。具体我就不在这方面赘述了,能够看下美团大佬的文章,里面有测试Java 8系列之从新认识HashMap