ThreadLocal源码解读

时间 2019-11-06

标签 threadlocal 源码解读栏目 Java 繁體版

原文原文链接

1. 背景

ThreadLocal源码解读，网上面早已经泛滥了，大多比较浅，甚至有的连基本原理都说的颇有问题,包括百度搜索出来的第一篇高访问量博文，说ThreadLocal内部有个map，键为线程对象，太误导人了。java

ThreadLocal很是适合对Java多线程编程感兴趣的程序员做为入门类阅读，缘由两方面：程序员

加上注释源码也不过七八百行。
结构清晰，代码简洁。

本文重点导读ThreadLocal中的嵌套内部类ThreadLocalMap，对ThreadLocal自己API的介绍简略带过。
读ThreadLocal源码，不读ThreadLocalMap的实现，和没看过没多大差异。web

2. 两个问题

先回答两个问题：算法

什么是ThreadLocal？
ThreadLocal类顾名思义能够理解为线程本地变量。也就是说若是定义了一个ThreadLocal，每一个线程往这个ThreadLocal中读写是线程隔离，互相之间不会影响的。它提供了一种将可变数据经过每一个线程有本身的独立副本从而实现线程封闭的机制。编程
它大体的实现思路是怎样的？
Thread类有一个类型为ThreadLocal.ThreadLocalMap的实例变量threadLocals，也就是说每一个线程有一个本身的ThreadLocalMap。ThreadLocalMap有本身的独立实现，能够简单地将它的key视做ThreadLocal，value为代码中放入的值（实际上key并非ThreadLocal自己，而是它的一个弱引用）。每一个线程在往某个ThreadLocal里塞值的时候，都会往本身的ThreadLocalMap里存，读也是以某个ThreadLocal做为引用，在本身的map里找对应的key，从而实现了线程隔离。api

3. ThreadLocal的API

ThreadLocal的API其实没多少好介绍的，这些API介绍网上早已烂大街了。
数组

4. ThreadLocalMap的源码实现

ThreadLocalMap的源码实现，才是咱们读ThreadLocal源码真正要领悟的。看看大师Doug Lea和Joshua Bloch的鬼斧神工之做。
tomcat

ThreadLocalMap提供了一种为ThreadLocal定制的高效实现，而且自带一种基于弱引用的垃圾清理机制。
下面从基本结构开始一点点解读。安全

4.1 存储结构

既然是个map（注意不要与java.util.map混为一谈，这里指的是概念上的map），固然得要有本身的key和value，上面回答的问题2中也已经说起，咱们能够将其简单视做key为ThreadLocal，value为实际放入的值。之因此说是简单视做，由于实际上ThreadLocal中存放的是ThreadLocal的弱引用。咱们来看看ThreadLocalMap里的节点是如何定义的。多线程

static class Entry extends WeakReference<java.lang.ThreadLocal<?>> {
    // 往ThreadLocal里实际塞入的值
    Object value;

    Entry(java.lang.ThreadLocal<?> k, Object v) {
        super(k);
        value = v;
    }
}

Entry即是ThreadLocalMap里定义的节点，它继承了WeakReference类，定义了一个类型为Object的value，用于存放塞到ThreadLocal里的值。

4.2 为何要弱引用

读到这里，若是不问不答为何是这样的定义形式，为何要用弱引用，等于没读懂源码。
由于若是这里使用普通的key-value形式来定义存储结构，实质上就会形成节点的生命周期与线程强绑定，只要线程没有销毁，那么节点在GC分析中一直处于可达状态，没办法被回收，而程序自己也没法判断是否能够清理节点。弱引用是Java中四档引用的第三档，比软引用更加弱一些，若是一个对象没有强引用链可达，那么通常活不过下一次GC。当某个ThreadLocal已经没有强引用可达，则随着它被垃圾回收，在ThreadLocalMap里对应的Entry的键值会失效，这为ThreadLocalMap自己的垃圾清理提供了便利。

4.3 类成员变量与相应方法

/**
 * 初始容量，必须为2的幂
 */
private static final int INITIAL_CAPACITY = 16;

/**
 * Entry表，大小必须为2的幂
 */
private Entry[] table;

/**
 * 表里entry的个数
 */
private int size = 0;

/**
 * 从新分配表大小的阈值，默认为0
 */
private int threshold;

能够看到，ThreadLocalMap维护了一个Entry表或者说Entry数组，而且要求表的大小必须为2的幂，同时记录表里面entry的个数以及下一次须要扩容的阈值。
显然这里会产生一个问题，为何必须是2的幂？很好，可是目前还没法回答，带着问题接着往下读。

/**
 * 设置resize阈值以维持最坏2/3的装载因子
 */
private void setThreshold(int len) {
    threshold = len * 2 / 3;
}

/**
 * 环形意义的下一个索引
 */
private static int nextIndex(int i, int len) {
    return ((i + 1 < len) ? i + 1 : 0);
}

/**
 * 环形意义的上一个索引
 */
private static int prevIndex(int i, int len) {
    return ((i - 1 >= 0) ? i - 1 : len - 1);
}

ThreadLocal须要维持一个最坏2/3的负载因子，对于负载因子相信应该不会陌生，在HashMap中就有这个概念。
ThreadLocal有两个方法用于获得上一个/下一个索引，注意这里其实是环形意义下的上一个与下一个。

因为ThreadLocalMap使用线性探测法来解决散列冲突，因此实际上Entry[]数组在程序逻辑上是做为一个环形存在的。
关于开放寻址、线性探测等内容，能够参考网上资料或者TAOCP（《计算机程序设计艺术》）第三卷的6.4章节。

至此，咱们已经能够大体勾勒出ThreadLocalMap的内部存储结构。下面是我绘制的示意图。虚线表示弱引用，实线表示强引用。

ThreadLocalMap维护了Entry环形数组，数组中元素Entry的逻辑上的key为某个ThreadLocal对象（其实是指向该ThreadLocal对象的弱引用），value为代码中该线程往该ThreadLoacl变量实际塞入的值。

4.4 构造函数

好的，接下来再来看看ThreadLocalMap的一个构造函数

/**
 * 构造一个包含firstKey和firstValue的map。
 * ThreadLocalMap是惰性构造的，因此只有当至少要往里面放一个元素的时候才会构建它。
 */
ThreadLocalMap(java.lang.ThreadLocal<?> firstKey, Object firstValue) {
    // 初始化table数组
    table = new Entry[INITIAL_CAPACITY];
    // 用firstKey的threadLocalHashCode与初始大小16取模获得哈希值
    int i = firstKey.threadLocalHashCode & (INITIAL_CAPACITY - 1);
    // 初始化该节点
    table[i] = new Entry(firstKey, firstValue);
    // 设置节点表大小为1
    size = 1;
    // 设定扩容阈值
    setThreshold(INITIAL_CAPACITY);
}

这个构造函数在set和get的时候均可能会被间接调用以初始化线程的ThreadLocalMap。

4.5 哈希函数

重点看一下上面构造函数中的int i = firstKey.threadLocalHashCode & (INITIAL_CAPACITY - 1);这一行代码。

ThreadLocal类中有一个被final修饰的类型为int的threadLocalHashCode，它在该ThreadLocal被构造的时候就会生成，至关于一个ThreadLocal的ID，而它的值来源于

/*
 * 生成hash code间隙为这个魔数，可让生成出来的值或者说ThreadLocal的ID较为均匀地分布在2的幂大小的数组中。
 */
private static final int HASH_INCREMENT = 0x61c88647;

private static int nextHashCode() {
    return nextHashCode.getAndAdd(HASH_INCREMENT);
}

能够看出，它是在上一个被构造出的ThreadLocal的ID/threadLocalHashCode的基础上加上一个魔数0x61c88647的。这个魔数的选取与斐波那契散列有关，0x61c88647对应的十进制为1640531527。斐波那契散列的乘数能够用(long) ((1L << 31) * (Math.sqrt(5) - 1))能够获得2654435769，若是把这个值给转为带符号的int，则会获得-1640531527。换句话说
(1L << 32) - (long) ((1L << 31) * (Math.sqrt(5) - 1))获得的结果就是1640531527也就是0x61c88647。经过理论与实践，当咱们用0x61c88647做为魔数累加为每一个ThreadLocal分配各自的ID也就是threadLocalHashCode再与2的幂取模，获得的结果分布很均匀。
ThreadLocalMap使用的是线性探测法，均匀分布的好处在于很快就能探测到下一个临近的可用slot，从而保证效率。这就回答了上文抛出的为何大小要为2的幂的问题。为了优化效率。

对于& (INITIAL_CAPACITY - 1)，相信有过算法竞赛经验或是阅读源码较多的程序员，一看就明白，对于2的幂做为模数取模，能够用&(2^n-1)来替代%2^n，位运算比取模效率高不少。至于为何，由于对2^n取模，只要不是低n位对结果的贡献显然都是0，会影响结果的只能是低n位。

能够说在ThreadLocalMap中，形如key.threadLocalHashCode & (table.length - 1)（其中key为一个ThreadLocal实例）这样的代码片断实质上就是在求一个ThreadLocal实例的哈希值，只是在源码实现中没有将其抽为一个公用函数。

4.6 getEntry方法

这个方法会被ThreadLocal的get方法直接调用，用于获取map中某个ThreadLocal存放的值。

private Entry getEntry(ThreadLocal<?> key) {
    // 根据key这个ThreadLocal的ID来获取索引，也即哈希值
    int i = key.threadLocalHashCode & (table.length - 1);
    Entry e = table[i];
    // 对应的entry存在且未失效且弱引用指向的ThreadLocal就是key，则命中返回
    if (e != null && e.get() == key) {
        return e;
    } else {
        // 由于用的是线性探测，因此日后找仍是有可能可以找到目标Entry的。
        return getEntryAfterMiss(key, i, e);
    }
}

/*
 * 调用getEntry未直接命中的时候调用此方法
 */
private Entry getEntryAfterMiss(ThreadLocal<?> key, int i, Entry e) {
    Entry[] tab = table;
    int len = tab.length;
   
    
    // 基于线性探测法不断向后探测直到遇到空entry。
    while (e != null) {
        ThreadLocal<?> k = e.get();
        // 找到目标
        if (k == key) {
            return e;
        }
        if (k == null) {
            // 该entry对应的ThreadLocal已经被回收，调用expungeStaleEntry来清理无效的entry
            expungeStaleEntry(i);
        } else {
            // 环形意义下日后面走
            i = nextIndex(i, len);
        }
        e = tab[i];
    }
    return null;
}

/**
 * 这个函数是ThreadLocal中核心清理函数，它作的事情很简单：
 * 就是从staleSlot开始遍历，将无效（弱引用指向对象被回收）清理，即对应entry中的value置为null，将指向这个entry的table[i]置为null，直到扫到空entry。
 * 另外，在过程当中还会对非空的entry做rehash。
 * 能够说这个函数的做用就是从staleSlot开始清理连续段中的slot（断开强引用，rehash slot等）
 */
private int expungeStaleEntry(int staleSlot) {
    Entry[] tab = table;
    int len = tab.length;

    // 由于entry对应的ThreadLocal已经被回收，value设为null，显式断开强引用
    tab[staleSlot].value = null;
    // 显式设置该entry为null，以便垃圾回收
    tab[staleSlot] = null;
    size--;

    Entry e;
    int i;
    for (i = nextIndex(staleSlot, len); (e = tab[i]) != null; i = nextIndex(i, len)) {
        ThreadLocal<?> k = e.get();
        // 清理对应ThreadLocal已经被回收的entry
        if (k == null) {
            e.value = null;
            tab[i] = null;
            size--;
        } else {
            /*
             * 对于尚未被回收的状况，须要作一次rehash。
             * 
             * 若是对应的ThreadLocal的ID对len取模出来的索引h不为当前位置i，
             * 则从h向后线性探测到第一个空的slot，把当前的entry给挪过去。
             */
            int h = k.threadLocalHashCode & (len - 1);
            if (h != i) {
                tab[i] = null;
                
                /*
                 * 在原代码的这里有句注释值得一提，原注释以下：
                 *
                 * Unlike Knuth 6.4 Algorithm R, we must scan until
                 * null because multiple entries could have been stale.
                 *
                 * 这段话说起了Knuth高德纳的著做TAOCP（《计算机程序设计艺术》）的6.4章节（散列）
                 * 中的R算法。R算法描述了如何从使用线性探测的散列表中删除一个元素。
                 * R算法维护了一个上次删除元素的index，当在非空连续段中扫到某个entry的哈希值取模后的索引
                 * 尚未遍历到时，会将该entry挪到index那个位置，并更新当前位置为新的index，
                 * 继续向后扫描直到遇到空的entry。
                 *
                 * ThreadLocalMap由于使用了弱引用，因此其实每一个slot的状态有三种也即
                 * 有效（value未回收），无效（value已回收），空（entry==null）。
                 * 正是由于ThreadLocalMap的entry有三种状态，因此不能彻底套高德纳原书的R算法。
                 *
                 * 由于expungeStaleEntry函数在扫描过程当中还会对无效slot清理将之转为空slot，
                 * 若是直接套用R算法，可能会出现具备相同哈希值的entry之间断开（中间有空entry）。
                 */
                while (tab[h] != null) {
                    h = nextIndex(h, len);
                }
                tab[h] = e;
            }
        }
    }
    // 返回staleSlot以后第一个空的slot索引
    return i;
}

咱们来回顾一下从ThreadLocal读一个值可能遇到的状况：
根据入参threadLocal的threadLocalHashCode对表容量取模获得index

若是index对应的slot就是要读的threadLocal，则直接返回结果
调用getEntryAfterMiss线性探测，过程当中每碰到无效slot，调用expungeStaleEntry进行段清理；若是找到了key，则返回结果entry
没有找到key，返回null

4.7 set方法

private void set(ThreadLocal<?> key, Object value) {

    Entry[] tab = table;
    int len = tab.length;
    int i = key.threadLocalHashCode & (len - 1);
    // 线性探测
    for (Entry e = tab[i]; e != null; e = tab[i = nextIndex(i, len)]) {
        ThreadLocal<?> k = e.get();
        // 找到对应的entry
        if (k == key) {
            e.value = value;
            return;
        }
        // 替换失效的entry
        if (k == null) {
            replaceStaleEntry(key, value, i);
            return;
        }
    }

    tab[i] = new Entry(key, value);
    int sz = ++size;
    if (!cleanSomeSlots(i, sz) && sz >= threshold) {
        rehash();
    }
}

private void replaceStaleEntry(ThreadLocal<?> key, Object value,
                               int staleSlot) {
    Entry[] tab = table;
    int len = tab.length;
    Entry e;

    // 向前扫描，查找最前的一个无效slot
    int slotToExpunge = staleSlot;
    for (int i = prevIndex(staleSlot, len);
         (e = tab[i]) != null;
         i = prevIndex(i, len)) {
        if (e.get() == null) {
            slotToExpunge = i;
        }
    }

    // 向后遍历table
    for (int i = nextIndex(staleSlot, len);
         (e = tab[i]) != null;
         i = nextIndex(i, len)) {
        ThreadLocal<?> k = e.get();

        // 找到了key，将其与无效的slot交换
        if (k == key) {
            // 更新对应slot的value值
            e.value = value;

            tab[i] = tab[staleSlot];
            tab[staleSlot] = e;

            /*
             * 若是在整个扫描过程当中（包括函数一开始的向前扫描与i以前的向后扫描）
             * 找到了以前的无效slot则以那个位置做为清理的起点，
             * 不然则以当前的i做为清理起点
             */
            if (slotToExpunge == staleSlot) {
                slotToExpunge = i;
            }
            // 从slotToExpunge开始作一次连续段的清理，再作一次启发式清理
            cleanSomeSlots(expungeStaleEntry(slotToExpunge), len);
            return;
        }

        // 若是当前的slot已经无效，而且向前扫描过程当中没有无效slot，则更新slotToExpunge为当前位置
        if (k == null && slotToExpunge == staleSlot) {
            slotToExpunge = i;
        }
    }

    // 若是key在table中不存在，则在原地放一个便可
    tab[staleSlot].value = null;
    tab[staleSlot] = new Entry(key, value);

    // 在探测过程当中若是发现任何无效slot，则作一次清理（连续段清理+启发式清理）
    if (slotToExpunge != staleSlot) {
        cleanSomeSlots(expungeStaleEntry(slotToExpunge), len);
    }
}

/**
 * 启发式地清理slot,
 * i对应entry是非无效（指向的ThreadLocal没被回收，或者entry自己为空）
 * n是用于控制控制扫描次数的
 * 正常状况下若是log n次扫描没有发现无效slot，函数就结束了
 * 可是若是发现了无效的slot，将n置为table的长度len，作一次连续段的清理
 * 再从下一个空的slot开始继续扫描
 * 
 * 这个函数有两处地方会被调用，一处是插入的时候可能会被调用，另外个是在替换无效slot的时候可能会被调用，
 * 区别是前者传入的n为元素个数，后者为table的容量
 */
private boolean cleanSomeSlots(int i, int n) {
    boolean removed = false;
    Entry[] tab = table;
    int len = tab.length;
    do {
        // i在任何状况下本身都不会是一个无效slot，因此从下一个开始判断
        i = nextIndex(i, len);
        Entry e = tab[i];
        if (e != null && e.get() == null) {
            // 扩大扫描控制因子
            n = len;
            removed = true;
            // 清理一个连续段
            i = expungeStaleEntry(i);
        }
    } while ((n >>>= 1) != 0);
    return removed;
}


private void rehash() {
    // 作一次全量清理
    expungeStaleEntries();

    /*
     * 由于作了一次清理，因此size极可能会变小。
     * ThreadLocalMap这里的实现是调低阈值来判断是否须要扩容，
     * threshold默认为len*2/3，因此这里的threshold - threshold / 4至关于len/2
     */
    if (size >= threshold - threshold / 4) {
        resize();
    }
}

/*
 * 作一次全量清理
 */
private void expungeStaleEntries() {
    Entry[] tab = table;
    int len = tab.length;
    for (int j = 0; j < len; j++) {
        Entry e = tab[j];
        if (e != null && e.get() == null) {
            /*
             * 我的以为这里能够取返回值，若是大于j的话取了用，这样也是可行的。
             * 由于expungeStaleEntry执行过程当中是把连续段内全部无效slot都清理了一遍了。
             */
            expungeStaleEntry(j);
        }
    }
}

/**
 * 扩容，由于须要保证table的容量len为2的幂，因此扩容即扩大2倍
 */
private void resize() {
    Entry[] oldTab = table;
    int oldLen = oldTab.length;
    int newLen = oldLen * 2;
    Entry[] newTab = new Entry[newLen];
    int count = 0;

    for (int j = 0; j < oldLen; ++j) {
        Entry e = oldTab[j];
        if (e != null) {
            ThreadLocal<?> k = e.get();
            if (k == null) {
                e.value = null; 
            } else {
                // 线性探测来存放Entry
                int h = k.threadLocalHashCode & (newLen - 1);
                while (newTab[h] != null) {
                    h = nextIndex(h, newLen);
                }
                newTab[h] = e;
                count++;
            }
        }
    }

    setThreshold(newLen);
    size = count;
    table = newTab;
}

咱们来回顾一下ThreadLocal的set方法可能会有的状况

探测过程当中slot都不无效，而且顺利找到key所在的slot，直接替换便可
探测过程当中发现有无效slot，调用replaceStaleEntry，效果是最终必定会把key和value放在这个slot，而且会尽量清理无效slot
- 在replaceStaleEntry过程当中，若是找到了key，则作一个swap把它放到那个无效slot中，value置为新值
- 在replaceStaleEntry过程当中，没有找到key，直接在无效slot原地放entry
探测没有发现key，则在连续段末尾的后一个空位置放上entry，这也是线性探测法的一部分。放完后，作一次启发式清理，若是没清理出去key，而且当前table大小已经超过阈值了，则作一次rehash，rehash函数会调用一次全量清理slot方法也即expungeStaleEntries，若是完了以后table大小超过了threshold - threshold / 4，则进行扩容2倍

4.8 remove方法

/**
 * 从map中删除ThreadLocal
 */
private void remove(ThreadLocal<?> key) {
    Entry[] tab = table;
    int len = tab.length;
    int i = key.threadLocalHashCode & (len - 1);
    for (Entry e = tab[i];
         e != null;
         e = tab[i = nextIndex(i, len)]) {
        if (e.get() == key) {
            // 显式断开弱引用
            e.clear();
            // 进行段清理
            expungeStaleEntry(i);
            return;
        }
    }
}

remove方法相对于getEntry和set方法比较简单，直接在table中找key，若是找到了，把弱引用断了作一次段清理。

5. ThreadLocal与内存泄漏

关于ThreadLocal是否会引发内存泄漏也是一个比较有争议性的问题，其实就是要看对内存泄漏的准肯定义是什么。
认为ThreadLocal会引发内存泄漏的说法是由于若是一个ThreadLocal对象被回收了，咱们往里面放的value对于【当前线程->当前线程的threadLocals(ThreadLocal.ThreadLocalMap对象）->Entry数组->某个entry.value】这样一条强引用链是可达的，所以value不会被回收。
认为ThreadLocal不会引发内存泄漏的说法是由于ThreadLocal.ThreadLocalMap源码实现中自带一套自我清理的机制。

之因此有关于内存泄露的讨论是由于在有线程复用如线程池的场景中，一个线程的寿命很长，大对象长期不被回收影响系统运行效率与安全。若是线程不会复用，用完即销毁了也不会有ThreadLocal引起内存泄露的问题。《Effective Java》一书中的第6条对这种内存泄露称为unintentional object retention(无心识的对象保留）。

当咱们仔细读过ThreadLocalMap的源码，咱们能够推断，若是在使用的ThreadLocal的过程当中，显式地进行remove是个很好的编码习惯，这样是不会引发内存泄漏。
那么若是没有显式地进行remove呢？只能说若是对应线程以后调用ThreadLocal的get和set方法都有很高的几率会顺便清理掉无效对象，断开value强引用，从而大对象被收集器回收。

但不管如何，咱们应该考虑到什么时候调用ThreadLocal的remove方法。一个比较熟悉的场景就是对于一个请求一个线程的server如tomcat，在代码中对web api做一个切面，存放一些如用户名等用户信息，在链接点方法结束后，再显式调用remove。

6. InheritableThreadLocal原理

对于InheritableThreadLocal，本文不做过多介绍，只是简单略过。
ThreadLocal自己是线程隔离的，InheritableThreadLocal提供了一种父子线程之间的数据共享机制。

它的具体实现是在Thread类中除了threadLocals外还有一个inheritableThreadLocals对象。

在线程对象初始化的时候，会调用ThreadLocal的createInheritedMap从父线程的inheritableThreadLocals中把有效的entry都拷过来

能够看一下其中的具体实现

private ThreadLocalMap(ThreadLocalMap parentMap) {
    Entry[] parentTable = parentMap.table;
    int len = parentTable.length;
    setThreshold(len);
    table = new Entry[len];

    for (int j = 0; j < len; j++) {
        Entry e = parentTable[j];
        if (e != null) {
            @SuppressWarnings("unchecked")
            ThreadLocal<Object> key = (ThreadLocal<Object>) e.get();
            if (key != null) {
                // 这里的childValue方法在InheritableThreadLocal中默认实现为返回自己值，能够被重写
                Object value = key.childValue(e.value);
                Entry c = new Entry(key, value);
                int h = key.threadLocalHashCode & (len - 1);
                while (table[h] != null)
                    h = nextIndex(h, len);
                table[h] = c;
                size++;
            }
        }
    }
}

仍是比较简单的，作的事情就是以父线程的inheritableThreadLocalMap为数据源，过滤出有效的entry，初始化到本身的inheritableThreadLocalMap中。其中childValue能够被重写。

须要注意的地方是InheritableThreadLocal只是在子线程建立的时候会去拷一份父线程的inheritableThreadLocals。若是父线程是在子线程建立后再set某个InheritableThreadLocal对象的值，对子线程是不可见的。

7. 总结

本博文重点介绍了ThreadLocal中ThreadLocalMap的大体实现原理以及ThreadLocal内存泄露的问题以及简略介绍InheritableThreadLocal。做为Josh Bloch和Doug Lea两位大师之做，ThreadLocal自己实现的算法与技巧仍是很优雅的。在开发过程当中，ThreadLocal用到恰到好处的话，能够消除一些代码的重复。但也要注意过分使用ThreadLocal很容易加大类之间的耦合度与依赖关系（开发过程可能会不得不过分考虑某个ThreadLocal在调用时是否已有值，存放的是哪一个类放的什么值）。