JDK源码那些事儿之PriorityBlockingQueue
今天继续说一说阻塞队列的实现，今天的主角就是优先级阻塞队列PriorityBlockingQueue，从命名上看以为应该是有序的，毕竟是优先级队列，那么其实是什么状况，咱们一块儿看下其内部实现，提早说明下，由于PriorityBlockingQueue涉及到了堆排序的相关使用，若是没了解清楚，能够参考我以前写的关于堆排序的相关说明java
前言
JDK版本号：1.8.0_171
PriorityBlockingQueue是一个无限容量的阻塞队列，固然，最终仍是受内存限制，内部实现是数组，不停增加下去会致使OOM，因为其无限容量的特性，在入队操做时不存在阻塞这个说法，只要内存足够都能入队，固然，入队操做线程仍是须要争抢互斥锁的，只是不会存在队列已满状况下的阻塞等待操做算法
同时，虽然这个被称为优先级阻塞队列，可是入队操做以后并不会当即进行排序调整，只有在出队操做或drainTo转移队列时才是被优先级队列排过序的。PriorityBlockingQueue是经过Comparator来进行排序，因此入队的对象自己已经实现Comparator接口，或者传入一个Comparator实例对象才能够api
PriorityBlockingQueue排序是经过最小堆实现的，以前的文章里我已经专门说明了堆排序的算法，这里再也不详细说明，不明白的能够先去参考堆排序的讲解部分。优先级队列初始容量默认为11，当入队空间不足时会进行扩容操做，扩容大小根据扩容前的容量决定数组
类定义
public class PriorityBlockingQueue<E> extends AbstractQueue<E>
implements BlockingQueue<E>, java.io.Serializable
常量/变量
/**
* 默认初始化数组长度11
*/
private static final int DEFAULT_INITIAL_CAPACITY = 11;
/**
* 容许的最大数组长度，减8是由于有可能部分虚拟机会用一部分空间来保存对象头信息
*/
private static final int MAX_ARRAY_SIZE = Integer.MAX_VALUE - 8;
/**
*
* 优先级队列经过平衡二叉堆实现，可类比堆排序算法
* 那么queue[n]对应的左右子节点分别为queue[2*n+1]和[2*(n+1)]
* 队列中的对象必须是可比较的，默认的天然排序或自行实现的的Comparator均可
* 队列非空，则queue[0]为最小值，即以最小二叉堆排序
*/
private transient Object[] queue;
/**
* 优先级队列queue包含的元素个数
*/
private transient int size;
/**
* 比较器对象，在使用天然排序比较时为null
*/
private transient Comparator<? super E> comparator;
/**
* 互斥锁，只有一个ReentrantLock
*/
private final ReentrantLock lock;
/**
* 非空信号量，队列为空时阻塞出队线程
* 只须要判断队列为空的状况，队列没有满的状况，因此才是无限容量队列
*/
private final Condition notEmpty;
/**
* Spin锁，经过CAS操做实现
*/
private transient volatile int allocationSpinLock;
/**
* 在序列化中使用，为了兼容老版本
*/
private PriorityQueue<E> q;
allocationSpinLock在对象中的内存偏移量获取在静态代码块中实现以下，后续使用CAS操做用到oop
// Unsafe mechanics
private static final sun.misc.Unsafe UNSAFE;
private static final long allocationSpinLockOffset;
static {
try {
UNSAFE = sun.misc.Unsafe.getUnsafe();
Class<?> k = PriorityBlockingQueue.class;
allocationSpinLockOffset = UNSAFE.objectFieldOffset
(k.getDeclaredField("allocationSpinLock"));
} catch (Exception e) {
throw new Error(e);
}
}
构造方法
在不传参时，默认初始化数组长度为11，即优先级队列默认容量为11，主要在于传入集合参数时须要进行判断是否知足PriorityBlockingQueue使用的条件，非空，可比较的对象，另外，还需判断是否须要进行堆化操做ui
public PriorityBlockingQueue() {
this(DEFAULT_INITIAL_CAPACITY, null);
}
public PriorityBlockingQueue(int initialCapacity) {
this(initialCapacity, null);
}
public PriorityBlockingQueue(int initialCapacity,
Comparator<? super E> comparator) {
if (initialCapacity < 1)
throw new IllegalArgumentException();
this.lock = new ReentrantLock();
this.notEmpty = lock.newCondition();
this.comparator = comparator;
this.queue = new Object[initialCapacity];
}
public PriorityBlockingQueue(Collection<? extends E> c) {
this.lock = new ReentrantLock();
this.notEmpty = lock.newCondition();
// 是否须要从新排序标识，即堆化标识
boolean heapify = true; // true if not known to be in heap order
// 空值检查标识
boolean screen = true; // true if must screen for nulls
// 集合为SortedSet，则使用其Comparator排序，因为其已有序，直接复制便可，无需堆化操做
if (c instanceof SortedSet<?>) {
SortedSet<? extends E> ss = (SortedSet<? extends E>) c;
this.comparator = (Comparator<? super E>) ss.comparator();
heapify = false;
}
// 集合为PriorityBlockingQueue，则使用其Comparator排序
else if (c instanceof PriorityBlockingQueue<?>) {
PriorityBlockingQueue<? extends E> pq =
(PriorityBlockingQueue<? extends E>) c;
this.comparator = (Comparator<? super E>) pq.comparator();
screen = false;
// 精确到PriorityBlockingQueue类，因为其已有序，直接复制便可，无需堆化操做
if (pq.getClass() == PriorityBlockingQueue.class) // exact match
heapify = false;
}
Object[] a = c.toArray();
int n = a.length;
// If c.toArray incorrectly doesn't return Object[], copy it.
// 假如没有正确返回Object[]，则复制a
if (a.getClass() != Object[].class)
a = Arrays.copyOf(a, n, Object[].class);
// 对集合进行空值校验
// this.comparator != null 判断SortedSet类型的对象空值状况
// n == 1 这个感受应该是对天然排序的对象作的操做 n >= 1 才对，不然就在heapify()堆化操做比较时抛错，能够本身尝试放List
if (screen && (n == 1 || this.comparator != null)) {
for (int i = 0; i < n; ++i)
if (a[i] == null)
throw new NullPointerException();
}
this.queue = a;
this.size = n;
// 堆化操做
if (heapify)
heapify();
}
重要方法
tryGrow
扩容操做，在offer中获取锁的时候调用，扩容以前先释放锁，经过CAS操做将allocationSpinLock标识置为1，表示当前正在扩容中，扩容完毕则从新获取锁，allocationSpinLock标识置为0this
private void tryGrow(Object[] array, int oldCap) {
// 先释放锁
lock.unlock(); // must release and then re-acquire main lock
// 准备的新数组
Object[] newArray = null;
// 其余线程未进行扩容操做时尝试使用CAS更新allocationSpinLock标识为1，成功则当前线程取得扩容操做权限
if (allocationSpinLock == 0 &&
UNSAFE.compareAndSwapInt(this, allocationSpinLockOffset,
0, 1)) {
try {
// 原数组容量小于64，则每次增加oldCap + 2
// 原数组容量大于等于64，则每次增加oldCap的一半
int newCap = oldCap + ((oldCap < 64) ?
(oldCap + 2) : // grow faster if small
(oldCap >> 1));
// 新的数组容量大于最大的数组长度限制
if (newCap - MAX_ARRAY_SIZE > 0) { // possible overflow
int minCap = oldCap + 1;
// 原数组容量加1就已经溢出或者超过最大长度限制直接抛出OOM
if (minCap < 0 || minCap > MAX_ARRAY_SIZE)
throw new OutOfMemoryError();
// 设置新数组容量为最大值
newCap = MAX_ARRAY_SIZE;
}
// 扩容成功且当前数组没有被其余线程操做，则建立一个新数组
if (newCap > oldCap && queue == array)
newArray = new Object[newCap];
} finally {
// 将扩容标识恢复
allocationSpinLock = 0;
}
}
// 其余线程已经在扩容了，让出cpu
if (newArray == null) // back off if another thread is allocating
Thread.yield();
// 从新得到锁
lock.lock();
// 扩容成功且原数组没被其余线程操做则复制原数组到新数组中
if (newArray != null && queue == array) {
queue = newArray;
System.arraycopy(array, 0, newArray, 0, oldCap);
}
}
siftUpComparable/siftUpUsingComparator
相似堆排序的操做，不一样在于，这些方法是类比插入新节点，即数组中添加新的值时调用，添加完以后整个堆须要进行调整，Up也说明了是从下往上进行堆的平衡调整。在调用这个方法前，堆应该是已经平衡的，若是未平衡，须要先进行堆化操做，参考heapify方法。入队操做时，将x插入k的位置上，入队时至关于将新元素放入k的位置上(还未彻底执行，须要知足堆特性)，因为新添加元素可能会破坏整个堆，因此须要从下往上调整整个堆，直到x大于等于其父节点或者到达根节点spa
/**
* @param k the position to fill
* @param x the item to insert
* @param array the heap array
*/
private static <T> void siftUpComparable(int k, T x, Object[] array) {
Comparable<? super T> key = (Comparable<? super T>) x;
while (k > 0) {
// 找到k位置处的父节点
int parent = (k - 1) >>> 1;
// 父节点对应的值
Object e = array[parent];
// 父子节点比较，k位置处的节点大于等于其父节点，则退出，不须要对堆进行调整了
if (key.compareTo((T) e) >= 0)
break;
// k位置处的节点小于其父节点，则将k位置处的值改成其父节点值
array[k] = e;
// k指向其父节点，至关于堆向上递进了一层，继续while判断其父节点是否须要调整
k = parent;
}
// 结束调整时k指向的位置即为插入x的值，即key
array[k] = key;
}
/**
* 同上，区别在于这个使用了一个比较对象cmp，上边是天然排序
*/
private static <T> void siftUpUsingComparator(int k, T x, Object[] array,
Comparator<? super T> cmp) {
while (k > 0) {
int parent = (k - 1) >>> 1;
Object e = array[parent];
if (cmp.compare(x, (T) e) >= 0)
break;
array[k] = e;
k = parent;
}
array[k] = x;
}
siftDownComparable/siftDownUsingComparator
出队操做时使用，出队出的是堆顶元素，即array[0]，那么出队完成以后堆顶元素空缺，将array[n]处的元素放入位置0处（还未真正执行，须要先验证是否知足堆特性），这里翻译说的是插入，能够这么理解，出队时至关于将最后一个叶子节点移动到根（堆顶位置），这里就须要从上往下调整整个堆，使其知足堆的特性，这里按小顶堆处理，最上边则是最小值，需知足节点值小于其两个子节点的值便可线程
/**
* @param k the position to fill
* @param x the item to insert
* @param array the heap array
* @param n heap size
*/
private static <T> void siftDownComparable(int k, T x, Object[] array,
int n) {
if (n > 0) {
Comparable<? super T> key = (Comparable<? super T>)x;
// 最后的非叶子节点位置
int half = n >>> 1; // loop while a non-leaf
while (k < half) {
// k的左子节点
int child = (k << 1) + 1; // assume left child is least
// k的左子节点对应的值
Object c = array[child];
// k的右子节点
int right = child + 1;
// 左右子节点中最大值
if (right < n &&
((Comparable<? super T>) c).compareTo((T) array[right]) > 0)
c = array[child = right];
// 对比，其节点值小于等于其左右子节点，则代表堆调整完毕
if (key.compareTo((T) c) <= 0)
break;
// k节点处的值为其子节点中最大的值
array[k] = c;
// k指向其子节点最大值的那个索引位置
k = child;
}
// 结束调整时k指向的位置即为插入x的值，即key
array[k] = key;
}
}
/**
* 同上，区别在于这个使用了一个比较对象cmp，上边是天然排序
*/
private static <T> void siftDownUsingComparator(int k, T x, Object[] array,
int n,
Comparator<? super T> cmp) {
if (n > 0) {
int half = n >>> 1;
while (k < half) {
int child = (k << 1) + 1;
Object c = array[child];
int right = child + 1;
if (right < n && cmp.compare((T) c, (T) array[right]) > 0)
c = array[child = right];
if (cmp.compare(x, (T) c) <= 0)
break;
array[k] = c;
k = child;
}
array[k] = x;
}
}
dequeue
出队核心操做，须要先获取互斥锁才能执行，出队元素为array[0]节点，出队以后进行堆排序的操做，步骤以下：翻译
- 保存array[n]值为x，清除数组中n处的值
- 经过siftDownComparable方法将x插入0（即堆顶位置）处操做
- siftDownComparable自身向下依次去进行整个堆的平衡调整
- 堆（数组）长度-1
private E dequeue() {
// 当前队列元素的长度
int n = size - 1;
// 无值 返回null
if (n < 0)
return null;
else {
Object[] array = queue;
// 保存堆顶元素array[0]
E result = (E) array[0];
// 保存最后一个元素
E x = (E) array[n];
// 置空清除最后一个元素
array[n] = null;
Comparator<? super E> cmp = comparator;
if (cmp == null)
// 经过天然排序使得整个堆保持小顶堆的特性，下面说
siftDownComparable(0, x, array, n);
else
// 经过传入的比较类对象排序使得整个堆保持小顶堆的特性
siftDownUsingComparator(0, x, array, n, cmp);
size = n;
return result;
}
}
heapify
堆化操做，从最后一个非叶子节点开始，循环对每一个节点平衡，直到堆顶，完成堆的平衡操做
/**
* 构造方法传入集合时用到
* 将集合进行堆化操做，知足堆的特性
*/
private void heapify() {
Object[] array = queue;
int n = size;
// 最后一个非叶子节点
int half = (n >>> 1) - 1;
Comparator<? super E> cmp = comparator;
if (cmp == null) {
// 从最后一个非叶子节点开始调整
// 这里使用的是siftDownComparable，使得节点及其子节点知足堆特性
// 逐步向上遍历，最终使得整个数组知足堆特性
for (int i = half; i >= 0; i--)
siftDownComparable(i, (E) array[i], array, n);
}
else {
// 同上，多了个比较对象
for (int i = half; i >= 0; i--)
siftDownUsingComparator(i, (E) array[i], array, n, cmp);
}
}
offer
入队操做，最终都是调用offer，这里使用siftUpComparable从下向上调整，由于咱们是将新值放到了队列最后，应向上进行调整
public boolean offer(E e) {
if (e == null)
throw new NullPointerException();
// 得到锁
final ReentrantLock lock = this.lock;
lock.lock();
int n, cap;
Object[] array;
// 数组容量不够时进行扩容操做，上边已经说过tryGrow这部分
while ((n = size) >= (cap = (array = queue).length))
tryGrow(array, cap);
try {
Comparator<? super E> cmp = comparator;
// 入队操做，将新节点放入最后，须要使用siftUpComparable从下往上进行调整
if (cmp == null)
siftUpComparable(n, e, array);
else
siftUpUsingComparator(n, e, array, cmp);
// 容量+1
size = n + 1;
// 队列有数据则唤醒阻塞的出队线程
notEmpty.signal();
} finally {
lock.unlock();
}
return true;
}
poll/take
出队操做，最终调用dequeue，上边已说过，其他部分同以前讲过的阻塞队列相似，不过多说明
public E poll() {
final ReentrantLock lock = this.lock;
lock.lock();
try {
return dequeue();
} finally {
lock.unlock();
}
}
public E take() throws InterruptedException {
final ReentrantLock lock = this.lock;
lock.lockInterruptibly();
E result;
try {
while ( (result = dequeue()) == null)
notEmpty.await();
} finally {
lock.unlock();
}
return result;
}
public E poll(long timeout, TimeUnit unit) throws InterruptedException {
long nanos = unit.toNanos(timeout);
final ReentrantLock lock = this.lock;
lock.lockInterruptibly();
E result;
try {
while ( (result = dequeue()) == null && nanos > 0)
nanos = notEmpty.awaitNanos(nanos);
} finally {
lock.unlock();
}
return result;
}
removeAt
删除队列中的某个元素，remove和removeEQ方法也是使用这个方法来进行操做的。这里有个地方须要注意下，在删除非最后一个节点时须要进行堆调整，把最后一个节点当成新值添加到删除位置，先经过siftDownComparable/siftDownUsingComparator向下进行平衡调整，若是没有进行调整，则须要调用siftUpComparable/siftUpUsingComparator向上进行调整，有些人可能不是很明白，其实想下堆的特性就能了解，在数组中并非彻底有序的，在最小堆中只要知足父节点小于等于其子节点便可，因此这里在注释上我也进行了说明，若是向下调整了，则i处的子节点取代了i，原来i处的节点必定大于等于i的父节点，因此i的子节点也大于等于i的父节点，不须要向上调整了。例以下图这种状况，就须要继续向上调整：
在删除36节点后，若是把24节点放入删除后的节点上，此时会致使array[i] == moved，须要向上调整，其实也是由于堆的特性致使，堆只保证了堆顶元素的有序性，其余元素若是调整则须要从新进行平衡操做
private void removeAt(int i) {
Object[] array = queue;
int n = size - 1;
// 移除最后一个节点，不须要调整堆
if (n == i) // removed last element
array[i] = null;
else {
// 下面至关于删除队列中间某个节点进行的操做
// 相似出队操做，只不过如今不必定是堆顶
E moved = (E) array[n];
array[n] = null;
Comparator<? super E> cmp = comparator;
if (cmp == null)
// 至关于将n处的节点放入删除的节点位置i处，以后向下进行堆化平衡操做
siftDownComparable(i, moved, array, n);
else
siftDownUsingComparator(i, moved, array, n, cmp);
// 向下无平衡操做，则需向上进行堆化平衡操做
// 若是向下调整了，则i处的子节点取代了i，原来i处的节点必定大于等于i的父节点，因此i的子节点也大于等于i的父节点
if (array[i] == moved) {
if (cmp == null)
siftUpComparable(i, moved, array);
else
siftUpUsingComparator(i, moved, array, cmp);
}
}
size = n;
}
drainTo
转移maxElements个元素到集合c中，从源码实现上能够看到转移以后的元素是有序的，而不是像PriorityBlockingQueue里的数组是无序的，每次转移，先直接添加堆顶元素，再出队操做，循环调用使得转移后的集合有序
public int drainTo(Collection<? super E> c, int maxElements) {
if (c == null)
throw new NullPointerException();
if (c == this)
throw new IllegalArgumentException();
if (maxElements <= 0)
return 0;
final ReentrantLock lock = this.lock;
lock.lock();
try {
// 集合长度
int n = Math.min(size, maxElements);
for (int i = 0; i < n; i++) {
// 先添加
c.add((E) queue[0]); // In this order, in case add() throws.
// 出队操做，堆已平衡
dequeue();
}
return n;
} finally {
lock.unlock();
}
}
迭代器
迭代器使用时的方法以下,每次调用建立一个新的迭代器对象Itr，入参调用了toArray()方法，拷贝了当前数组队列，不是直接放入的原数组队列
public Iterator<E> iterator() {
return new Itr(toArray());
}
public Object[] toArray() {
final ReentrantLock lock = this.lock;
lock.lock();
try {
return Arrays.copyOf(queue, size);
} finally {
lock.unlock();
}
}
看下其迭代器实现类，保存的是当前数组的一个拷贝，可是remove操做是删除的PriorityBlockingQueue原数组中对应的元素，须要注意
/**
* 迭代器，其中的数组是拷贝了当前数组的快照
*/
final class Itr implements Iterator<E> {
// 数组，这里保存的实际上是原数组的快照，参考迭代调用方法
final Object[] array; // Array of all elements
// 游标，下一次next执行时对应的值的索引
int cursor; // index of next element to return
// 上一个next元素索引值，即上一次next()执行返回的那个值的索引，无则为-1
int lastRet; // index of last element, or -1 if no such
// 获取迭代器时调用，看上边源码
Itr(Object[] array) {
lastRet = -1;
this.array = array;
}
public boolean hasNext() {
return cursor < array.length;
}
public E next() {
// 游标指向已超过数组长度，抛错
if (cursor >= array.length)
throw new NoSuchElementException();
// 更新lastRet，记录next值索引
lastRet = cursor;
// 返回next应该获取的值，同时游标索引+1
return (E)array[cursor++];
}
public void remove() {
// 无值抛错
if (lastRet < 0)
throw new IllegalStateException();
// 这里调用removeEQ方法进行移除操做，注意，这里删除的是PriorityBlockingQueue的原数组中对应的值，不是这个拷贝数组
removeEQ(array[lastRet]);
// 置为-1
lastRet = -1;
}
}
迭代器是原数组的一个快照版本，故也是无序的，若是想经过迭代器获取有序数组是不可能的，同时，使用时须要注意remove方法，避免误删
总结
至此，PriorityBlockingQueue源码基本说明完毕，须要理解的在于如下几点：
- PriorityBlockingQueue是一个数组实现的无限制容量的优先级阻塞队列
- 默认初始容量为11，容量不够时可进行扩容操做
- 经过平衡二叉最小堆实现优先级排列
- take、poll方法出队或drainTo转移的集合才是有序的
以上内容若有问题欢迎指出，笔者验证后将及时修正，谢谢
相关文章
- 1. JDK源码那些事儿之HashMap.TreeNode
- 2. JDK源码那些事儿之LinkedBlockingDeque
- 3. JDK源码那些事儿之LockSupport
- 4. JDK源码那些事儿之ConcurrentLinkedDeque
- 5. JDK源码那些事儿之DelayQueue
- 6. JDK源码那些事儿之LinkedTransferQueue
- 7. JDK源码那些事儿之ConcurrentLinkedQueue
- 8. JDK源码那些事儿之万物之源Object
- 9. JDK源码那些事儿之并发ConcurrentHashMap上篇
- 10. JDK源码那些事儿之红黑树基础下篇
- 更多相关文章...
- • Docker 资源汇总 - Docker教程
- • Java操作Neo4j数据库（附带源码） - NoSQL教程
- • 互联网组织的未来：剖析GitHub员工的任性之源
- • Java Agent入门实战（二）-Instrumentation源码概述
相关标签/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
最新文章
欢迎关注本站公众号,获取更多信息
相关文章