了解cgroups

什么是cgroup?

cgroup是control group的缩写，字面意思是控制组，控制什么？ 什么组？ 操做系统是资源管家，为进程分配各类资源，这些资源有CPU, 内存，块设备等。如何为一组进程（一个进程是一组进程的特例）对资源的使用进行量化记帐和限制？cgroup就是解决这个问题的，提供一个统一的机制，各子系统根据这个机制实现自身控制策略。

进程组是如何组织的？ 答案：层级 (hierarchy)。进程按层级组织，各子系统(subsystem)按照自身资源分配策略在层级树上进行资源分配。打个比方，每一个人像是一个进程，有户口所在地如中国X省Y市，户籍就是进程组，有三个层级国省市，社会有各类资源好比教育子系统，假如我是Y市某个学校的学生，那么教育部门就会给这个学校分配老师和设施等资源。

为何须要cgroup?

举个来自内核文档(Documentation/cgroup-v1/cgroups.txt)中的栗子。试想，一个大学的服务器有不一样用户：学生，教授和系统任务。那这个服务器的资源可能须要这样安排。CPU:

CPU :          "Top cpuset"
                       /       \
               CPUSet1         CPUSet2
                  |               |
               (Professors)    (Students)

               In addition (system tasks) are attached to topcpuset (so 
               that they can run anywhere) with a limit of 20%

内存：

Memory : Professors (50%), Students (30%), system (20%)

磁盘：

Disk : Professors (50%), Students (30%), system (20%)

网络:

Network : WWW browsing (20%), Network File System (60%), others (20%)
                               / \
               Professors (15%)  students (5%)

好比浏览器firefox走的WWW服务，管理员能够写脚本程序知道哪类用户教授仍是学生在使用firefox, 而后作以下控制：

# echo browser_pid > /sys/fs/cgroup/<restype>/<userclass>/tasks

假如管理员体察民情，到了晚上，想给学生给多网络资源，好让学生能够玩网络游戏放松一下。管理能够在网络子系统里新建一个资源组，放宽流量限制，暂时把学生启动的进程放到新建的资源组里：

# echo pid > /sys/fs/cgroup/network/<new_class>/tasks
       (after some time)
       # echo pid > /sys/fs/cgroup/network/<orig_class>/tasks

层级,子系统,cgroup和进程之间的关系？

这个文档有配图有文字讲的比较清楚:Relationships Between Subsystems, Hierarchies, Control Groups and Tasks。

1. 一个层级能够附加一个或多个子系统。例如，层级cpu_mem_cg有两个子系统CPU和内存。

/cpu_mem_cg   |    <-------------CPU
              +-----/cg1       |   <-------------Memory
              +-----/cg2       |

2. 一个子系统（如CPU）不能够同时附加到两个不一样的层级中。例如，CPU子系统已经附加到了层级cpu_cg中，就不能再附加到另外一个层级cpu_mem_cg中。
3. 每一个层级在新建时，都有一个default cgroup， 也叫root cgroup， 系统全部进程会被天然地加入root cgroup。在同一个层级中，一个进程只能属于一个cgroup中，例如cpu_mem_cg层级有两个cgroup: cg1和cg2，进程A不能同在cg1和cg2中。固然，一个进程能够被添加到多个cgroup中，只要这些cgroup在不一样的层级当中，好比层级cpu_cg->cg1和层级mem_cg->cg1，进程A能够同时被添加到两个cg1中。
4. 子进程建立之初，继承父进程的层级关系。但以后，关系能够删除，或改变。

cgroup是怎么实现的？

虽然2015年Tejun重写了cgroup v2， 可是cgroup v1版的文档仍是有参考意义。主流发行版尚未用那么新的内核，应该还都在使用cgroup v1。这里简单摘录一下cgroup-v1文关于实现的文档。

cgroup在内核中是这样作的：

• 每一个task有个指针指向css_set。css，即cgroup subsystem state。
• css_set有一个指针数组，每一个指针指向cgroup_subsys_state对象。每一个对象表明一个子系统，可顺着css_set -> cgroup_subsys_state指针找到进程所在的cgroup。
• cgroup hierarchy filesystem 能够mount上，用户经过操做文件系统的方式使用cgroup。
• 你能够查看哪些进程（PID）被添加到了某个cgroup中。 cgroup的实现须要在内核各自系统中插入一些hook,好比：在init/main.c中，初始化root cgroups 和 css_set; 在fork()/exit()中，把任务附加/或从css_set中移除。

cgroup实现了相似procfs内存文件系统，即cgroup文件系统。挂载时，默认状况下， cgroup文件系统会把全部子系统添加到层级中。用户能够经过挂载参数如mount -t cgroup -o cpu cgroup /sys/cgroup/cpu来选择附加到层级中的子系统。

其实内核文档对实现讲的并不清楚，可参考这个博客Cgroup框架分析。

blkio子系统

cgroups 子系统有多种, 如cpu, memory， 更全介绍参考Cgroup简介-概述。笔者暂时只对blkio子系统感兴趣。blkio资源控制模式有两种: weight 和 bandwidth limit, 即便权重，或带宽（iops）限制。权重的方式只有在IO调度器为cfq时才有用，可是目前blk-mq设备不支持任何调度器。

IO相关的还有cgroup writeback, 由于回写跟内存子系统和blkio子系统都有关系。值得一提的是该功能须要文件系统的支持，目前ext4和btrfs能够支持。

这部分后面须要研究下限流算法和代码。