【Linux基础01】-运维人员职责及硬件认识

本章重点：

1. 运维人员三大原则

2. 程序、进程、守护进程的区别

3. 高并发写入和读取思想

4. 缓冲buffer和缓存cache

5. 硬件设备IO性能对比

6. 随机存储和顺序存储

7. 硬盘性能与价格排序

8. Raid做用和常见级别

1、运维人员核心职责

1.1 网站数据不丢失、不泄密

1. 监控（及时发现问题）

2. 备份（可用）

3. 规范（本身、他人）

1.2 网站“7*24”不间断服务

1. 企业高可用标准（故障转移）

2. 高可用架构设计（硬件、软件等）

可用度A	9的个数	年停机时间（分钟）	适用产品
0.999	三个9	500	电脑或服务器
0.9999	四个9	50	企业级设备
0.99999	五个9	5	通常电信级设备
0.999999	六个9	0.5	更高要求电信级设备

1.3 提高用户体验

1. 优化（硬件、操做系统、架构等）

2. 缓存

3. 业务（分离）

4. 高性能架构设计

* 具体工做职责

1. 系统管理、紧急故障处理

2. 平常服务器监控

3. 完成一些项目：备份、迁移、升级、搭建一些服务、扩容、缩容

4. 日志收集及展现（ELK）

5. 代码上线（shell脚本+git+Jenkins）

6. 平常的文档整理，画图等

 

2、服务器(PC server）

2.1 服务器介绍

服务器类型	介绍	分类	特性	品牌	人群
物理服务器	搭建网站使用的服务器，相对于普通家用电脑，处理能力、稳定性、可靠性、安全性、可扩展性、可管理性都相对较高	机架式（最经常使用）	有2U，3U，4U的种类，通常安放在19寸机柜里	DELL（最经常使用，性价比高）（收购EMC） HP（部分） IBM（POWERPC、存储，收购redhat），配置高，价格贵，黑盒运行，去“IOE”，传统大企业（百度）用 联想（收购IBMPC、家用笔记本） 浪潮（传统企业、学校） 航天联志 华为	中小型企业
		刀片式	标准高度的机架式机箱内插装多个卡式服务器单元，每块“刀片”都是一块系统主板，拥有独立的系统，单片性能低，可是集合成集群后，即可以提供高速的网络环境，共享资源，为相同的用户群服务，支持热插拔，能够轻松替换，减小维护时间
		塔式	相似于“立式PC”，主板扩展性较强，高科技公司使用，体积大，不方便扩容管理
云服务器	提供简单高效、安全可靠、处理能力强、可弹性伸缩的计算服务，其管理方式比物理服务器更简单高效。用户无需提早购买硬件，便可迅速建立或释听任意多台云服务器，根据用户的需求进行按量分配。	公有云	共享资源服务	阿里云：使用最多 腾讯云：游戏，APP.开发 华为云 百度云 金山云 西部数码 AWS亚马逊：正在快速占领中国市场	中大型企业
		私有云	公司利用开源产品搭建本身的架构
		混合云	公有云（高效）+私有云（安全）

2.2 服务器尺寸

1. 服务器的高度以U（unit）来作计量单位，1U=1.75寸=4.45cm

2.3 服务器型号详解

1. Dell服务器型号详解

   主流应用时间段	1U的主流型号	2U的主流型号
   2010年之前	1850、1950	2850、2950
   2010-2013年	R4十、R610	R710
   2014-2016年	R420、R430、R620、R630	R720、R730
   新产品	R6415	R740/R740xd/R7425

   DELL 服务器型号

    

    DELL R740机架式服务器（2U）

    

   *服务器型号解释：

    

   R740：

   R 机架式服务器 （M=刀片 T=塔式）

   7 CPU的个数：1-3 单路 4-7 双路 8-9 四路

   4 更新的代数：默认从第十代开始，此处表示第十四代

   0 表示CPU的品牌：0=Intel；5=AMD

    

2. IBM服务器型号详解

1U的主流型号	2U的主流型号	4U的主流型号	8U的主流型号
3550/M3 3550/M5	3650 M3/M4/M5	3850（更多）	3950

 

3、服务器核心硬件介绍

总览：

1. 电源

2. “电脑三大件”：内存和CPU、硬盘。

3. 服务器硬件I/O性能对比

4. raid技术及级别

3.1 电源

1. 服务器电源按照标准能够分为ATX电源和SSI电源两种。ATX标准使用较为广泛，主要用于台式机、工做站和低端服务器；而SSI标准是随着服务器技术的发展而产生的，适用于各类档次的服务器。

2. 生产中通常单个服务器核心业务最好使用双电源AB线路、双路电。若是集群（一堆机器作一件事）的状况能够不用双电源。

服务器电源

 3.2 CPU处理器

1. 概念：服务器的CPU至关于人体的“大脑”，负责计算机的运算和控制，是服务器性能效率的最核心部件。

   1. 服务器CPU

2. 常见品牌：

   CPU常见品牌	类型介绍
   Intel（x86架构）	I 酷睿（家用） E 至强 （服务器经常使用） IA 安腾 （小型机，主频很高）
   AMD（x86架构）	少用
   IBM	Power系列，小型机，主频高

    

3. 计算密集型CPU vs I/O密集型CPU

   计算密集型CPU：数据分析、处理、清理，主频很高（如游戏、图片处理等）
   I/O密集型CPU：网站业务、数据库业务， 核心数很高(适合并发操做多的业务)

4. 精简指令集 vs 复杂指令集精简指令集 表明：SUN公司的SPARC系列和ARM系列指令精简，执行时间短，操做简单、有效率复杂指令集 表明：Intel志强系列（XEON)指令数量多、指复杂、执行时间较长，处理事务更多、更丰富

5. 企业经常使用CPU和内存配置通常企业里的服务器，CPU个（颗）数为2-4颗，单个（颗）CPU是四-十二核，内存总量通常是16G-256G（常见：32G，64G）；作虚拟化的宿主机（eg:安装vmware（虚拟化软件）的服务器），CPU颗数4-8颗，内存总量通常是48G-128G，6-10个虚拟机。

6. 什么是“路数”？

   CPU的颗数也被称为“路数”，好比DELLR360双路1U服务器

7. 其余

• CPU通常经过频率(GHz)表示性能好坏，频率越高，速度越快

• 查看CPU频率快捷键：WIN+R>dxdiag

• CPU长时间运行须要风扇或者散热片散热

• 运维人员的常见工做之一：选择CPU配置、监测和优化服务器系统CPU性能

 

1.4 内存及缓存

1）概念：内存是电脑的一个临时存储器，它只负责电脑数据的中转而不能永久保存。

2）做用：在程序处理数据时，会先将磁盘的程序加载到内存，CPU执行内存程序

而后，会将磁盘上的要处理的文件也加载到内存，CPU调度程序处理数据

最终处理完成，程序退出内存，文件会保存到磁盘上

总而言之，内存就是程序工做的空间，能够被称为“缓存”或“缓冲”

 

通常程序运行的时候会被调度到内存中执行，服务器关闭或程序关闭以后，数据自动从内存中释放掉。

 

*内存是CPU可以直接访问的存储器，CPU从内存中读取操做指令和数据，又把运算或处理结果送回内存。

 

3）大多数网站及企业业务都是以读（浏览网页）为主，以写（微博）为辅

企业案例：

a.高并发写入案例-抢红包、微博

用户往内存写入数据》过一段时间或达到某个数量，写入磁盘

优势：性能高、速度快、减轻磁盘压力

缺点：丢失一部分在内存中还未存入磁盘的数据，解决办法：主板断电保护、安装蓄电池、UPS电池组、双电路机房、柴油发电机+油罐

 

b.中小型企业读取写入案例

数据写入磁盘》程序将数据读入内存》用户读取内存中数据

 

使用redis、memcache等非关系数据库软件实现

 

4）商用通常都是ECC内存

5）内存的容量和处理速度直接决定了电脑数据传输的快慢，

6）规格：通常为4-256G（集群），8G（常见）、32G 、64G（虚拟化、数据库），一台服务能够虚拟出10台虚拟主机

7）内存划分（RSS、Page Cache、Anon Page）——以地址位划分

 

 

a. RSS：常驻内存集,内核和程序运行时所须要占用的内存区域，是不能够不置换出去的。

b. Anon page：匿名页,程序与程序之间交互时使用到的内存区域

★c. Page cache：页缓存

buffer：缓冲区，缓冲写需求，缓冲修改类的操做

为了提升操做性能，数据在写入最终介质或下一层级介质前会合并放在缓冲区中（能够类比为旅行团），同时也会增长数据持久写的延迟（使用Memcached或Redis软件）

数据 》内存 》磁盘

cache：缓存，缓存读需求。

将常常访问的操做结果保存在缓存中，以随时使用

读取《 内存《 磁盘

口诀：写缓冲，读缓存

 

8）程序、进程、守护进程的区别

a. 程序：c/php/java，可执行的代码文件，放在磁盘里的数据。

b. 进程：正在运行着的程序，进程运行就是系统把程序放在内存里执行。

c. 守护进程（daemon）：持续保持运行着的程序。

 

9）内存的速度比磁盘快，内存是电子的，磁盘是机械的

 

1.5 磁盘

1）硬盘简单的说就是一个大容量存储器（永久储存），存储视频，文本，音频等各类数据，成为现代电脑不可缺乏的配件。

2）机械硬盘读取性能比内存差，因此会将磁盘上的数据缓存到内存，写入缓冲区中（解决网站访问速度慢的经常使用方案）

3）磁盘接口

磁盘的接口：IDE，SCSI（IDE、SCSI退出历史舞台）,SAS(高速盘，企业级，最高900G），SATAI II III（SAS兼容SATA），SSD：SATA 接口，PCI-E接口（企业经常使用）

我的电脑：SATA、SSD

服务器：SAS、SSD，偶尔用SATA

4）磁盘的类型：hhd机械磁盘和ssd固态硬盘

5）性能与价格：Flash(闪存）>SSD（固态，用于短板业务上）>SAS> SATA

6）热插拔：正在工做的时候进行插拔，企业级服务器支持硬盘热插拔

7）规格：300G、600G、1TB、3TB、4TB、6TB

8）工业级（企业级）硬盘计算：以1000为单位，1TB=1000GB

 

小结：

1. 企业高并发网站，都会尽可能让用户从内存中读取数据，而不是硬盘

2. 网站、服务器、软件优化的本质在于调整磁盘和内存之间的使用比

 

1.6 计算机与服务器各硬件I/O性能对比

1）IO：输入输出

IOPS（input /output per second）：每秒输入输出

 

2）CPU处理速度最快，其次是内存,最慢的就是硬盘和网卡了。未来作运维工做的时候，可从速度慢、瓶颈大的方向进行优化（例如，网卡、硬盘）

 

 

3）随机存储：任意写入和读取；连续存储，对介质的压力小：按必定的顺序写入和读取，对介质的压力大，使用效率更高

将随机存储变为顺序存储，优化体验。以买票为例，利用消息队列软件，将上网购买行为视为1条消息，把消息当成排队的人同样，放在内存里，将这些消息排队，网站慢慢处理这些消息，至关于给你卖票

 

 

1.7 Raid技术(磁盘冗余阵列）

1.7.1 服务器级别Raid,须要依赖于Raid卡（阵列卡），Raid卡也有缓存

1）做用：

a. 磁盘空间聚合:扩充容量

b. 数据冗余(镜像技术，备份):安全

c. 数据条带化:性能

2）存储级别RAID,须要依赖于专用的磁盘控制器

3）Raid分为软Raid（软件实现）和硬Raid（硬件实现，服务器板载Raid卡-仅支持Raid0及Raid一、独立Raid卡），硬件Raid实现性能、冗余更好、更高

4）企业重要服务器里Raid几乎不被采用

 

1.7.2 Raid级别:

1）Raid 1

a. 针对安全性,实现的功能为镜像

b. 特色:至少两块盘构成的级别,最多能够损坏1块磁盘

c. 优势:镜像关系的磁盘,一块磁盘损坏不影响正常使用

d. 缺点:要浪费掉50%空间

e. 重要数据；性能要求不高；容量要求不高

 

2）Raid 0

a. 针对性能的,实现的功能为条带化

b. 特色:至少两块盘构成的级别,不容许任意磁盘故障，会丢失所有数据

c. 优势:读写速度能够提升数倍

d. 缺点:无安全性.

e. 使用场合：不过重要的数据；要求性能高；要求容量高

 

3）Raid5

a. 较安全的一种级别,在部分磁盘损坏时,经过现存数据+校验值,能够"算出"损坏的数据,从而保证数据的完整性

b. 特色:至少须要三块磁盘构成,最多容许坏一块磁盘

c. 优势:具有安全性,具有条带化的功能,对于读操做较多的业务是很适合的.

d. 缺点:

可是若是出现磁盘损坏,数据是能够恢复的,可是应用几乎是不能用的.

在写入数据较频繁的业务中性能极差的,因此不推荐在此场景使用的

浪费1/n的磁盘空间

 

4）Raid 10

a. 结合raid1+raid0级别

b. 最少要4块磁盘,浪费1半磁盘空间,性能和安全性都最高

 

1.7.3 综合对比raid级别

1）冗余从好到坏：Raid1>Raid10>Raid5>Raid0

2）性能从好到坏：Raid0>Raid10>Raid5>Raid1

3）价格从低到高：Raid0<Raid5<Raid1<Raid10

 

 

6、计算机周边设备

1.1 远程管理卡

1）远程管理（启动、关机、重启等）,查看开关过程当中的信息

2）远程管理卡分为自带和独立，建议配独立的远程管理卡，能够快速查看服务器故障并恢复服务

3）远程管理接口

a. DELL: iDRAC，集成DELL远程管理卡

b. IBM : BMC

c. HP : ILO

 

1.2 KVM（集中管理终端）

访问位于多个远程位置的服务器和设备

 

1.3 PDU（机柜用电源分配插座）

带管理、监控功能

 

 

1.4 UPS（不间断电源）

 

1.5 装系统的方法

1）用U盘作镜像

2）网络安装（ftp,http），无人值守批量安装系统（pxe+kickstart/cobbler)

 

1.6 机房里的服务器

1）安装服务器时须要给服务器的各种线贴上规范标签，标记每根线的用途

参考：

【上海IDC房地址】https://blog.csdn.net/qq_43316814/article/details/89631431

【拆解服务器】https://www.bilibili.com/video/av46656120?from=search&seid=8965085005516560663

 

1.7 主板（普通电脑）

1）概念：一块电路板，至关于人体的“骨架”，CPU、内存、磁盘、Raid卡等全部硬件设备，都要链接主板工做

 

2）南桥芯片：离CPU较远，PCI插槽附近，处理数据量不大，与北桥芯片相连，负责I/O总线（PCI总线、USB、LAN、ATA、SATA、音频控制器、键盘控制器、实时时钟控制器、高级电源管理等)间的通讯，发展方向是集成更多的功能（网卡、Raid、IEEE139四、WIFI无线网络等）

 

北桥芯片：离CPU最近的芯片，处理数据量很是大，须要散热片，负责与CPU联系，而且会 控制内存、AGP数据在北桥内部的传输，提供对CPU的类型和主频、系统的前端总线频率、内存的类型（SDRAM、DDR SDRAM、RDRAM等）、最大容量、AGP插槽、ECC纠错等支持，整合型芯片组的北桥芯片还集成了显示核心。

 

BIOS芯片（CMOS芯片）：负责主板通电后各部件的自检、设置和保存，一切正常后才能启动操做系统，记录了电脑最基本的信息，是硬件和软件打交道的最基础的桥梁，常见的BIOS：Award、AMI、Phoenix

 

1.8 计算机和服务器的主要构成图解

 

 

 

7、计算机系统基础

1.1 冯诺依曼计算机3条重要设计思想

1）计算机应由运算器、控制器、存储器、输入设备和输出设备5大部分组成

2）以二进制的形式表示数据和指令

3）程序预先存入存储器中，使计算机在工做中能自动从存储器中取出程序指令并加以执行

 

1.2 计算机系统的基本工做原理

1.2.1 计算机的指令系统

1）指令：能被计算机识别并执行的二进制代码，它规定了计算机能完成的某一种操做。

指令=操做码+操做数

2）操做码：指明指令要完成的操做，如存数、取数等，操做码的位数（n）决定了指令的条数（2n）

3）操做数：操做对象的内容或所在的单元格地址，大多为地址码（0-3位），从地址码获得的仅是数据所在的地址。

 

1.2.2 计算机的工做原理

1）计算机的工做过程就是快速执行指令的过程，有两种信息流在流动：数据流、控制流

2）数据流：原始数据、中间结果、结果数据、源程序等

3）控制流：控制器对指令进行分析、解释后向各部件发出的控制指令，用于指挥各部件协调地工做

 

 

1.2.3 计算机的数据记录单位

bit 位 最小单位 只能表示0或1，网络带宽速率用Mbit/s来表示，正常的下载速度就是1Mbit/s=128KByte/s节

Bytes 字节 基本单位 1B=8bit，一个ASCII码占用一个字节，一个汉字占用2-4个字

KB 1024

MB 1024

GB 1024

TB 1024

PB 1024

EB 1024

 

1.2.4 计算机经常使用计数制

1）数制（进位计数制）：利用数字符号按进位原则进行数据大小计算的方法，一般以十进制来计算，也可为二进制、八进制、十六进制等。

2）数码：一个数制中标书基本数值大小的不一样数字符号，如八进制有8个数码（0，1，2，3，4，5，6，7）

3）基数：一个数值所使用数码的个数，如八进制的基数为8

4）位权：一个数值中某一位上的1所表示数值的大小，例如八进制的123，1的权位为64，2的权位为8，3的权位为1

其中十六进制的16个数码为：0，1，2，3，4，5，6，7，8，9，A，B，C，D，E，F

 

 

8、计算机中的数据的表示

1.1 数值数据的表示

1）机器数和真值

a. 机器数：一个数在计算机中的表示形式（最高位表明符号，0为正，1为负），可用三种方法表示：原码、反码、补码

b. 真值：机器数所对应的原来数值

c. 机器数与真值的区别：是否带符号，好比真值为-0011100，机器数为10011100

 

2）原码、反码、补码

a. 原码：X=+1100001，【X】原=01100001

*特殊：X=+0000000时，【X】原=00000000

X=-0000000时，【X】原=10000000

b. 反码：X=-1100001，【X】原=11100001，【X】反=10011110

*特殊：0的表示形式，同原码

c. 补码：X=-1110001，【X】原=11110001，【X】补= 10001111

d. 总结：原码、反码、补码为正值时，表示相同，为符号+数值位的绝对值；为负值时，反码在原码基础上，数值位各位取反，补码数值位各位取反并+1

 

1.2 非数值数据的表示

1）非数值数据：符号数据，包括字母和符号

2）字符编码方案（国际通用信息交换标准代码）：ASCII码

3）ASCII码由128个元素组成，任意一个元素由7位二进制数表示。

ASCII码字符分为打印字符、不可打印字符

4）汉字通常用2个字节表示，经常使用支持汉字的计算机字符编码：UTF八、GB23十二、GBK等