最大线程数量

最近面试的时候遇到一个关于java中最多能建立多少线程的问题，结果瞎答一通，尴尬了，回来看了一篇博客，人家写的很好，转载一下，原文链：https://www.cnblogs.com/princessd8251/articles/3914434.html

JVM最大建立线程数量由JVM堆内存大小、线程的Stack内存大小、系统最大可建立线程数（Java线程的实现是基于底层系统的线程机制来实现的，Windows下_beginthreadex，Linux下pthread_create）三个方面影响。具体以下：

-Xms  最小堆内存
-Xmx  最大堆内存
-Xss   设置每一个线程的堆栈大小。JDK5.0之后每一个线程堆栈大小为1M
操做系统限制 系统最大可开线程数，主要受如下几个参数影响

        /proc/sys/kernel/pid_max

        /proc/sys/kernel/thread-max

        max_user_process（ulimit -u） 在64位Linux系统（CentOS 6， 3G内存）下测试，发现还有一个参数是会限制线程数量：max user process（可经过ulimit –a查看，默认值1024，经过ulimit –u能够修改此值），这个值在上面的32位Ubuntu测试环境下并没有限制

        /proc/sys/vm/max_map_count

将threads-max，pid_max，max user process，这三个参数值都修改为100000，-Xms，-Xmx尽可能小（128m，64m），-Xss尽可能小（64位下最小104k，可取值128k）。事先预测在这样的测试环境下，线程数量就只会受限于测试环境的内存大小（3G），但是实际的测试结果是线程数量在达到32K（32768，建立的数量最多的时候大概是33000左右）左右时JVM是抛出警告：Attempt to allocate stack guard pages failed，而后出现OutOfMemoryError没法建立本地线程。查看内存后发现还有不少空闲，因此应该不是内存容量的缘由。/proc/sys/vm/max_map_count的数量翻倍，从65536变为131072，建立的线程总数量达到65000+，电脑基本要卡死（3G内存）…

简单查了下这个参数的做用，在[8]中的描述以下：

“This file contains the maximum number of memory map areas a process may have. Memory map areas are used as a side-effect of calling malloc, directly by mmap and mprotect, and also when loading shared libraries.

While most applications need less than a thousand maps, certain programs, particularly malloc debuggers, may consume lots of them, e.g., up to one or two maps per allocation.

The default value is 65536.”

 

操做系统最大线程数限制

32位Linux系统可建立的最大pid数是32678，这个数值能够经过/proc/sys/kernel/pid_max来作修改（修改其值为10000：echo 10000 > /proc/sys/kernel/pid_max），可是在32系统下这个值只能改小，没法改大。

Windows可建立的线程数量比linux可能更少。

在64位Linux系统（CentOS 6）下，还有一个参数会限制线程数量：max user process（可经过ulimit –a查看，默认值1024，经过ulimit –u能够修改此值）

测试程序以下：

import java.util.concurrent.atomic.AtomicInteger;
public class TestThread extends Thread {
    private static final AtomicInteger count = new AtomicInteger();
    public static void main(String[] args) {
        while (true)
            (new TestThread()).start();
    }
    @Override
    public void run() {
        System.out.println(count.incrementAndGet());
        while (true)
            try {
                Thread.sleep(Integer.MAX_VALUE);
            } catch (InterruptedException e) {
                break;
            }
    }
}

测试环境：

系统：Ubuntu 10.04 Linux Kernel 2.6 （32位）

内存：2G

JDK：1.7

测试结果：

◆ 不考虑系统限制

-Xms	-Xmx	-Xss	结果
1024m	1024m	1024k	1737
1024m	1024m	64k	26077
512m	512m	64k	31842
256m	256m	64k	31842

在建立的线程数量达到31842个时，系统中没法建立任何线程。

由上面的测试结果能够看出增大堆内存（-Xms，-Xmx）会减小可建立的线程数量，增大线程栈内存（-Xss，32位系统中此参数值最小为60K）也会减小可建立的线程数量。

◆ 结合系统限制

线程数量31842的限制是是由系统能够生成的最大线程数量决定的：/proc/sys/kernel/threads-max，可其默认值是32080。修改其值为10000：echo 10000 > /proc/sys/kernel/threads-max，修改后的测试结果以下：

-Xms	-Xmx	-Xss	结果
256m	256m	64k	9761

这样的话，是否是意味着能够配置尽可能多的线程？再作修改：echo 1000000 > /proc/sys/kernel/threads-max，修改后的测试结果以下：

-Xms	-Xmx	-Xss	结果
256m	256m	64k	32279
128m	128m	64k	32279

发现线程数量在达到32279之后，再也不增加。查了一下，32位Linux系统可建立的最大pid数是32678，这个数值能够经过/proc/sys/kernel/pid_max来作修改（修改方法同threads-max），可是在32系统下这个值只能改小，没法更大。在threads-max必定的状况下，修改pid_max对应的测试结果以下：

pid_max	-Xms	-Xmx	-Xss	结果
1000	128m	128m	64k	582
10000	128m	128m	64k	9507

在Windows上的状况应该相似，不过相比Linux，Windows上可建立的线程数量可能更少。基于线程模型的服务器总要受限于这个线程数量的限制。

 

总结：

JVM中能够生成的最大数量由JVM的堆内存大小、Thread的Stack内存大小、系统最大可建立的线程数量（Java线程的实现是基于底层系统的线程机制来实现的，Windows下_beginthreadex，Linux下pthread_create）三个方面影响。具体数量能够根据Java进程能够访问的最大内存（32位系统上通常2G）、堆内存、Thread的Stack内存来估算。

1、模拟问题:

首先咱们经过下面这个测试程序 来认识这个问题：
运行的环境 （有必要说明一下，不一样环境会有不一样的结果）：32位 Windows XP，Sun JDK 1.6.0_18， eclipse 3.4，
测试程序：

import java.util.concurrent.CountDownLatch;

public class TestNativeOutOfMemoryError {

    public static void main(String[] args) {

        for (int i = 0;; i++) {
            System.out.println("i = " + i);
            new Thread(new HoldThread()).start();
        }
    }

}

class HoldThread extends Thread {
    CountDownLatch cdl = new CountDownLatch(1);

    public HoldThread() {
        this.setDaemon(true);
    }

    public void run() {
        try {
            cdl.await();
        } catch (InterruptedException e) {
        }
    }
}

不指定任何JVM参数，eclipse中直接运行输出，看到了这位朋友了吧：
i = 5602 
Exception in thread "main" java.lang.OutOfMemoryError: unable to create new native thread
    at java.lang.Thread.start0(Native Method)
    at java.lang.Thread.start(Thread.java:597)
    at TestNativeOutOfMemoryError.main(TestNativeOutOfMemoryError.java:20)

 

2、分析问题：

这个异常问题本质缘由是咱们建立了太多的线程，而能建立的线程数是有限制的，致使了异常的发生。能建立的线程数的具体计算公式以下： 
(MaxProcessMemory - JVMMemory - ReservedOsMemory) / (ThreadStackSize) = Number of threads
MaxProcessMemory 指的是一个进程的最大内存
JVMMemory         JVM内存
ReservedOsMemory  保留的操做系统内存
ThreadStackSize      线程栈的大小

在java语言里， 当你建立一个线程的时候，虚拟机会在JVM内存建立一个Thread对象同时建立一个操做系统线程，而这个系统线程的内存用的不是JVMMemory，而是系统中剩下的内存(MaxProcessMemory - JVMMemory - ReservedOsMemory)。 


结合上面例子咱们来对公式说明一下： 
MaxProcessMemory 在32位的 windows下是 2G
JVMMemory   eclipse默认启动的程序内存是64M
ReservedOsMemory  通常是130M左右
ThreadStackSize 32位 JDK 1.6默认的stacksize 325K左右
公式以下：
(2*1024*1024-64*1024-130*1024)/325 = 5841 
公式计算所得5841，和实践5602基本一致（有误差是由于ReservedOsMemory不能很精确） 

由公式得出结论：你给JVM内存越多，那么你能建立的线程越少，越容易发生java.lang.OutOfMemoryError: unable to create new native thread。 

咦，有点背咱们的常理，恩，让咱们来验证一下,依旧使用上面的测试程序，加上下面的JVM参数，测试结果以下： 
ThreadStackSize      JVMMemory                    能建立的线程数
默认的325K             -Xms1024m -Xmx1024m    i = 2655
默认的325K               -Xms1224m -Xmx1224m    i = 2072
默认的325K             -Xms1324m -Xmx1324m    i = 1753
默认的325K             -Xms1424m -Xmx1424m    i = 1435
-Xss1024k             -Xms1424m -Xmx1424m    i = 452 
彻底和公式一致。 

3、解决问题： 
1， 若是程序中有bug，致使建立大量不须要的线程或者线程没有及时回收，那么必须解决这个bug，修改参数是不能解决问题的。
2， 若是程序确实须要大量的线程，现有的设置不能达到要求，那么能够经过修改MaxProcessMemory，JVMMemory，ThreadStackSize这三个因素，来增长能建立的线程数：
a, MaxProcessMemory 使用64位操做系统
b, JVMMemory   减小JVMMemory的分配
c, ThreadStackSize  减少单个线程的栈大小

参考资料：

1. http://blog.krecan.net/2010/04/07/how-many-threads-a-jvm-can-handle/

2. http://www.cyberciti.biz/tips/maximum-number-of-processes-linux-26-kernel-can-handle.html

3. http://geekomatic.ch/2010/11/24/1290630420000.html

4. http://stackoverflow.com/questions/763579/how-many-threads-can-a-java-vm-support

5. http://www.iteye.com/topic/1035818

6. http://hi.baidu.com/hexiong/blog/item/16dc9e518fb10c2542a75b3c.html

7. https://listman.redhat.com/archives/phil-list/2003-August/msg00025.html

8. http://www.linuxinsight.com/proc_sys_vm_max_map_count.html

http://jzhihui.iteye.com/blog/1271122

http://sesame.iteye.com/blog/622670