JVM 源码分析之一个 Java 进程究竟能建立多少线程

本文来自: PerfMa技术社区

PerfMa(笨马网络)官网java

概述

虽然这篇文章的标题打着JVM源码分析的旗号,不过本文不只仅从 JVM 源码角度来分析,更多的来自于 Linux Kernel 的源码分析,今天要说的是 JVM 里比较常见的一个问题。linux

这个问题可能有几种表述网络

  • 一个Java进程到底能建立多少线程?
  • 到底有哪些因素决定了能建立多少线程?
  • java.lang.OutOfMemoryError: unable to create new native thread的异常到底是怎么回事

不过我这里先声明下可能不能彻底百分百将各类因素都理出来,由于毕竟我不是作 Linux Kernel 开发的,还有很多细节没有注意到的,我将我能分析到的因素和你们分享一下,若是你们在平时工做中还碰到别的因素,欢迎在文章下面留言,让更多人参与进来讨论数据结构

从 JVM 提及

线程你们都熟悉,new Thread().start()即会建立一个线程,这里我首先指出一点new Thread()其实并不会建立一个真正的线程,只有在调用了 start 方法以后才会建立一个线程,这个你们分析下 Java 代码就知道了,Thread 的构造函数是纯 Java 代码,start 方法会调到一个 native 方法 start0 里,而 start0 其实就是JVM_StartThread这个方法。jvm

1.jpg

从上面代码里首先要你们关注下最后的那个 if 判断 if (native_thread->osthread() == NULL),若是 osthread 为空,那将会抛出你们比较熟悉的 unable to create new native thread OOM 异常,所以 osthread 为空很是关键,后面会看到什么状况下osthread会为空。函数

另外你们应该注意到了native_thread = new JavaThread(&thread_entry, sz),在这里才会真正建立一个线程。源码分析

2.jpg

上面代码里的os::create_thread(this, thr_type, stack_sz)会经过pthread_create来建立线程,而 Linux 下对应的实现以下:学习

3.jpg

4.jpg

5.jpg

若是在 new OSThread 的过程当中就失败了,那显然 osthread 为 NULL,那再回到上面第一段代码,此时会抛出java.lang.OutOfMemoryError: unable to create new native thread的异常,而什么状况下new OSThread会失败,好比说内存不够了,而这里的内存实际上是 C Heap,而非 Java Heap,因而可知从 JVM 的角度来讲,影响线程建立的因素包括了 Xmx,MaxPermSize,MaxDirectMemorySize,ReservedCodeCacheSize 等,由于这些参数会影响剩余的内存this

另外注意到若是pthread_create执行失败,那经过thread->set_osthread(NULL)会设置空值,这个时候 osthread 也为 NULL,所以也会抛出上面的 OOM 异常,致使建立线程失败,所以接下来要分析下 pthread_create 失败的因素。spa

glibc 中的 pthread_create

stack_size

pthread_create 的实如今 glibc 里,

6.jpg

上面我主要想说的一段代码是int err = ALLOCATE_STACK (iattr, &pd),顾名思义就是分配线程栈,简单来讲就是根据 iattr 里指定的 stackSize,经过 mmap 分配一块内存出来给线程做为栈使。

那咱们来讲说 stackSize,这个你们应该都明白,线程要执行,要有一些栈空间,试想一下,若是分配栈的时候内存不够了,是否是建立确定失败?而 stackSize 在 JVM 下是能够经过 -Xss 指定的,固然若是没有指定也有默认的值,下面是 JDK6 以后(含)默认值的状况。

Linux Kernel 里的 clone

若是栈分配成功,那接下来就要建立线程了,大概逻辑以下

7.jpg

而create_thread实际上是调用的系统调用clone

8.jpg

系统调用这块就切入到了 Linux Kernel 里

clone 系统调用最终会调用do_fork方法,接下来经过剖解这个方法来分析 Kernel 里还存在哪些因素。

max_user_processes

9.jpg

先看这么一段,这里其实就是判断用户的进程数有多少,你们知道在linux下,进程和线程其数据结构都是同样的,所以这里说的进程数能够理解为轻量级线程数,而这个最大值是能够经过ulimit -u能够查到的,因此若是当前用户起的线程数超过了这个限制,那确定是不会建立线程成功的,能够经过ulimit -u value来修改这个值

max_map_count

在这个过程当中不乏有 mallo c的操做,底层是经过系统调用 brk 来实现的,或者上面提到的栈是经过 mmap 来分配的,不论是 malloc 仍是 mmap,在底层都会有相似的判断。

10.jpg

若是进程被分配的内存段超过sysctl_max_map_count就会失败,而这个值在 linux 下对应/proc/sys/vm/max_map_count,默认值是 65530,能够经过修改上面的文件来改变这个阈值

max_threads

还存在max_threads的限制,代码以下:

11.jpg

若是要修改或者查看能够经过/proc/sys/kernel/threads-max来操做, 这个值是受到物理内存的限制,在fork_init的时候就计算好了。

12.jpg

pid_max

pid 也存在限制

13.jpg

alloc_pid的定义以下

14.jpg

alloc_pidmap中会判断pid_max,而这个值的定义以下

15.jpg

这个值能够经过 /proc/sys/kernel/pid_max 来查看或者修改

总结

经过对 JVM,glibc,Linux kernel 的源码分析,咱们暂时得出了一些影响线程建立的因素,包括

  • JVM:Xmx,Xss,MaxPermSize,MaxDirectMemorySize,ReservedCodeCacheSize 等
  • Kernel:max_user_processes,max_map_count,max_threads,pid_max 等

因为对 kernel 的源码研读时间有限,不必定总结完整,你们能够补充。

一块儿来学习吧

PerfMa KO 系列课之 JVM 参数【Memory篇】

jvm堆内存溢出后,其余线程是否可继续工做

相关文章
相关标签/搜索