线程数与多核CPU的关系，VMware中核数的设置

• CPU数，核数，processor数的概念
  • CPU 数
    • 独立的中央处理单元，体如今主板上就是有多少个CPU槽位
  • CPU cores
    • 在每个CPU上，均可能有多核（core）,每一个核中都有独立的ALU，FPU，Cache等组件，能够理解为CPU的物理核数。（咱们常说4核8线程中的核）
  • processor
    • 每个物理核能够模拟出多个逻辑核，"超线程"技术就是经过采用特殊的指令，把逻辑内核模拟为物理超线程，这样的核就是processor.是一个处理数据的通道，流水线。能够理解为逻辑核（好比咱们常说的4核8线程中的线程）
  • 查看计算机的 processor 数（虚拟核数）
    • 在 linux 中使用 top 而后输入 1 ，从 CPU0 到 CPUn 显示的就是 CPU 的虚拟核数（ processor ）

  • 查看物理核数
    • 在 linux 中输入 cat /proc/cpuinfo 就能够看到 CPU cores 和 processor 的概念

     

• 关于进程和线程
  • 进程
    • 是CPU调度和分配的基本单位
  • 线程
    • 是操做系统进行资源（包括CPU，内存，磁盘IO）分配的最小单位
  • 关系
    • 打开微信，浏览器都是一个进程，一个进程中可能有多个子任务，好比微信接受信息，发送信息，这些子任务都是线程
    • 进程之间没法共享资源，进行通讯。可是线程之间能够通讯，共享进程的资源
    • 开启一个进程，就是打来一个软件，消耗的资源多。可是线程相较进程就会节省不少资源。
  • 线程之间的切换
    • 分时
      • 将时间平均分配，各个线程之间轮流使用
    • 抢占
      • 优先级高的线程抢到资源的几率大
  • 线程开销
    • 上下文切换，保存当前线程的执行环境，并恢复要执行线程的环境。
    • 线程建立和消亡的开销
    • 线程须要保存维持线程本地栈，会消耗内存
    • 当线程多到必定的程度时，就会拖慢系统性能，由于多线程的切换须要资源。因此在线程数应该在性能瓶颈的 90% 。

         

• 多核下线程数量的选择
  • Master-worker 模式
    • 针对多任务，咱们一般采用 Master-worker 模型。 Master 负责分配任务， worker 负责执行任务。若是 Worker 挂掉，就要 Master 负责从新调度。 Hadoop 集群即便这样 NameNode 管理 DataNode. 这是由线程切换到节点。

         

  • 计算密集型
    • 程序主要是复杂的逻辑判断和复杂的运算。好比咱们常见的机器学习之类的。
    • CPU利用里高，不该开太多的线程。由于线程太多会由于线程的上下文切换浪费资源。
    • 计算密集型的任务同时进行的数量应当等于CPU的核心数（processo数，虚拟内核也算）
  • IO 密集型
    • 程序主要是IO操做，好比磁盘IO和网络IO。好比Hadoop的MR。
    • 由于IO操做会阻塞线程，CPU大量的时间在等待IO操做的完成，所以CPU的利用率不高，能够多开线程，当IO阻塞时就切换到其余就绪的线程，提升CPU的利用率
    • 若是磁盘 IO 的性能超过了总线的能力，此时的瓶颈就是 IO 而再也不是 CPU ，线程开的多也没有意义。由于总线被打满了，数据过不来。

         

• 关于VMware虚拟机CPU核数的设置
  • 机器设置：E5-2660 V2 两颗，每颗10核，20线程
  • VMware 设置界面

  • 查看 VMware 中的各类状况 ( 注意：这里显示的都是 ID 数，不是个数 )
    • CPU个数 cat /proc/cpuinfo | grep "physical id"
    • CPU core cat /proc/cpuinfo | grep "core id"
    • CPU processor cat /proc/cpuinfo | grep "processor"
  • 对比

设置	vmCPU个数	vmCPU core	vmCPU processor	结论
处理器数量：1 每一个处理器的内核数量：4	1	4	4	1U4核4线程
处理器数量：2 每一个处理器的内核数量：2	2	2	4	2U1核2线程
处理器数量：4 每一个处理器的内核数量：2	4	2	8	4U2核2线程

可见：VMware中的：处理器数量（P）实际表明的是虚拟机的CPU个数

每一个处理器的内核数量（C）实际表明的是虚拟机CPU的core

• VMware 设置内核数量的最佳实践
  • 虚拟机的CPU数设置应该是小于物理机的数量。处理器数量*每一个处理器内核数量<物理机的processor数量
  • 若是虚拟机的processor数大于物理机的processor数，虚拟机化管理系统首先按照时间片轮流调度一遍，而后若是还有剩余的物理CPU资源，就分给须要计算的虚拟CPU

     

• 参考资料_{【感谢你的努力，让我有进步】}
  • http://blog.guoyb.com/2018/08/18/cpu-cores/?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io
  • http://www.cnblogs.com/-new/p/7234332.html
  • http://www.cnblogs.com/52mm/p/p2.html
  • https://www.liaoxuefeng.com/wiki/001374738125095c955c1e6d8bb493182103fac9270762a000/001397567993007df355a3394da48f0bf14960f0c78753f000