yarn虚拟cpu和虚拟内存

虚拟cpu

虚拟的cpu代码并发数，若是一个container拥有2个vcpu，那么该container就能够真正的在同一时间运行两个线程，而不是靠切时间片而达到的逻辑并发。因此通常虚拟的cpu须要和物理cpu的个数保持一致

yarn的计算单元称为YCUs，其实就是把1个cpu分为n份，一般状况控制在1:1000左右，也就是说一个一核cpu能够被yarn分为1000个左右的YCUs，并在使用yarn的时候，能够配置使用多少YCUs。例如500个YCUs，那么其实获得的大概是1/2个核的cpu。

 

cpu不像内存同样，内存掌控着程序的生死，而cpu只是决定程序执行的速度。

1. 经过控制cpu的功率就能够限制线程的执行速度。好比经过CGgroups限制。
2. 分配给一个线程超过1个cpu是没有意思的，纯粹是浪费行为。
3. 在一些IO密集型的任务里，就不须要给每一个线程分配一个完整的cpu，能够尝试着分配1/2的cpu，利用YCUs就能够作到。

 

虚拟内存

yarn和虚拟内存的关联

yarn的一些关于虚拟内存的配置

key	默认	解释
yarn.nodemanager.vmem-check-enabled	true	是否对app进行虚拟内存监控
yarn.nodemanager.vmem-pmem-ratio	5	虚拟内存上限系数，乘数是应用物理内存上限

 

yarn默认开启了对应用虚拟内存的检测，虚拟内存能够经过top来看到VIRT，当应用使用的虚拟内存超过了yarn限制的虚拟内存上限，那么yarn会把这个应用杀死。虚拟内存上限的计算公式为：yarn.nodemanager.vmem-pmem-ratio*物理内存。遇到这类虚拟内存超过yarn限制的问题，常见的策略有：

1. 关闭yarn对应用虚拟内存的检查

也就是把`yarn.nodemanager.vmem-check-enabled`配置为false

1. 调高yarn对应用虚拟内存限制的系数

把` yarn.nodemanager.vmem-pmem-ratio`配置更大一点

1. 减小应用对虚拟内存的使用

这块牵扯的内容稍微多一些，先给个结论，修改linux的环境变量`export MALLOC_ARENA_MAX=4`，下面详细解释一下应用的虚拟内存使用

 

什么是虚拟内存

操做系统将磁盘空间当作内存空间供给程序使用

# 查看某个进程的虚拟内存使用

pmap -x pid

 

为何虚拟内存分配了不少

咱们知道Linux下glibc的内存管理机制用了一个很奇妙的东西，叫arena。在glibc分配内存的时候，大内存从从中央分配区分配，小内存则在线程建立时，从缓存区分配。为了解决分配内存的性能的问题，就引入了这个叫作arena的memory pool，其原理就是经过为每一个线程构建一个arena，来避免多线程同时竞争一个arena。而在64bit系统下面，它的缺省配置为64M。一个进程能够最多有cores*8个arena，假如服务器是4核的，那么最多有4*8=32个arena，也就是32*64 = 2048M内存

查资料发现这是 glibc 在版本 2.10 引入的 arena 新功能致使。CentOS 6/7 的 glibc 大都是 2.12/ 2.17 了，因此都会有这个问题。这个功能对每一个线程都分配一个分配一个本地arena来加速多线程的执行。

在 glibc 的 arena.c 中使用的 mmap() 调用就和以前的示例代码相似：

    p2 = (char *)mmap(aligned_heap_area, HEAP_MAX_SIZE, PROT_NONE,

                          MAP_NORESERVE | MAP_ANONYMOUS | MAP_PRIVATE, -1, 0)

以后，只有很小的一部分地址被映射到了物理内存中：

    mprotect(p2, size, PROT_READ | PROT_WRITE)

所以在一个多线程程序中，会有至关多的 64MB 的 arena 被分配。这个能够用环境变量 MALLOC_ARENA_MAX 来控制。在64位系统中的默认值为 128，也就是单个进程最多能够申请128个arena。

 

因为Java 程序因为本身维护堆的使用，致使调用 glibc 去管理内存的次数较少。更糟的是 Java 8 开始使用 metaspace 原空间取代永久代，而元空间是存放在操做系统本地内存中，这就致使线程一多，每一个线程都要使用一点元空间，也就是每一个线程都分配一个64MB的 arena，致使巨大的虚拟地址被分配。

能够减少MALLOC_ARENA_MAX，好比

export MALLOC_ARENA_MAX=4

 

参考

https://yq.aliyun.com/articles/227924

https://unix.stackexchange.com/questions/379644/glibc-memory-alloction-arenas-and-debugging

https://www.ibm.com/developerworks/community/blogs/kevgrig/entry/linux_glibc_2_10_rhel_6_malloc_may_show_excessive_virtual_memory_usage?lang=zh_us