cgroup在ceph中的应用（1）

1、 Cgroup介绍

1. Cgroup是什么 Cgroups是control groups的缩写，是Linux内核提供的一种能够限制、记录、隔离进程组（process groups）所使用的物理资源（如：cpu,memory,IO等等）的机制。最初由google的工程师提出，后来被整合进Linux内核。Cgroups也是LXC为实现虚拟化所使用的资源管理手段，能够说没有cgroups就没有LXC。

2. Cgroup能作什么

Cgroups最初的目标是为资源管理提供的一个统一的框架，既整合现有的cpuset等子系统，也为将来开发新的子系统提供接口。如今的cgroups适用于多种应用场景，从单个进程的资源控制，到实现操做系统层次的虚拟化（OS Level Virtualization）。Cgroups提供了一下功能：

1. 限制进程组可使用的资源数量（Resource limiting ）。好比：memory子系统能够为进程组设定一个memory使用上限，一旦进程组使用的内存达到限额再申请内存，就会出发OOM（out of memory）。
2. 进程组的优先级控制（Prioritization ）。好比：可使用cpu子系统为某个进程组分配特定cpu share。
3. 记录进程组使用的资源数量（Accounting ）。好比：可使用cpuacct子系统记录某个进程组使用的cpu时间
4. 进程组隔离（isolation）。好比：使用ns子系统可使不一样的进程组使用不一样的namespace，以达到隔离的目的，不一样的进程组有各自的进程、网络、文件系统挂载空间。
5. 进程组控制（control）。好比：使用freezer子系统能够将进程组挂起和恢复。

3. Cgroup能作什么 相关概念

1. 任务（task）。在cgroups中，任务就是系统的一个进程。
2. 控制族群（control group）。控制族群就是一组按照某种标准划分的进程。Cgroups中的资源控制都是以控制族群为单位实现。一个进程能够加入到某个控制族群，也从一个进程组迁移到另外一个控制族群。一个进程组的进程可使用cgroups以控制族群为单位分配的资源，同时受到cgroups以控制族群为单位设定的限制。
3. 层级（hierarchy）。控制族群能够组织成hierarchical的形式，既一颗控制族群树。控制族群树上的子节点控制族群是父节点控制族群的孩子，继承父控制族群的特定的属性。
4. 子系统（subsytem）。一个子系统就是一个资源控制器，好比cpu子系统就是控制cpu时间分配的一个控制器。子系统必须附加（attach）到一个层级上才能起做用，一个子系统附加到某个层级之后，这个层级上的全部控制族群都受到这个子系统的控制。

相互关系

1. 每次在系统中建立新层级时，该系统中的全部任务都是那个层级的默认 cgroup（咱们称之为 root cgroup ，此cgroup在建立层级时自动建立，后面在该层级中建立的cgroup都是此cgroup的后代）的初始成员。
2. 一个子系统最多只能附加到一个层级。
3. 一个层级能够附加多个子系统。
4. 一个任务能够是多个cgroup的成员，可是这些cgroup必须在不一样的层级。
5. 系统中的进程（任务）建立子进程（任务）时，该子任务自动成为其父进程所在 cgroup 的成员。而后可根据须要将该子任务移动到不一样的 cgroup 中，但开始时它老是继承其父任务 的cgroup。

Cgroups子系统介绍 blkio -- 这个子系统为块设备设定输入/输出限制，好比物理设备（磁盘，固态硬盘，USB 等等）。 cpu -- 这个子系统使用调度程序提供对 CPU 的 cgroup 任务访问。 cpuacct -- 这个子系统自动生成 cgroup 中任务所使用的 CPU 报告。 cpuset -- 这个子系统为 cgroup 中的任务分配独立 CPU（在多核系统）和内存节点。 devices -- 这个子系统可容许或者拒绝 cgroup 中的任务访问设备。 freezer -- 这个子系统挂起或者恢复 cgroup 中的任务。 memory -- 这个子系统设定 cgroup 中任务使用的内存限制，并自动生成由那些任务使用的内存资源报告。 net_cls -- 这个子系统使用等级识别符（classid）标记网络数据包，可容许 Linux 流量控制程序（tc）识别从具体 cgroup 中生成的数据包。 ns -- 名称空间子系统。