运维自动化和CMDB实现方法

CMDB和运维自动化

1、运维

运维，指的是对已经搭建好的网络，软件，硬件进行维护。运维领域也是细分的，有硬件运维和软件运维

• 硬件运维主要包括对基础设施的运维，好比机房的设备，主机的硬盘，内存这些物理设备的维护
• 软件运维主要包括系统运维和应用运维，系统运维主要包括对OS，数据库，中间件的监控和维护，这些系统介于设备和应用之间，应用运维主要是对线上业务系统的运维

讨论的主要是软件运维的自动化，包括系统运维和应用运维的自动化

2、软件运维

传统运维

• 平常工做繁琐

平常运维工做是比较繁琐的，研发同窗会常常须要到服务器上查日志，重启应用，或者是说今天上线某个产品，须要部署下环境。这些杂事是传统运维的大部分工做

• 应用运行环境不统一

在部署某应用后，应用不能访问，就会听到开发人员说，在个人环境运行很好的，怎么部署到测试环境后，就不能用了，由于各种环境的类库不统一
还有一种极端状况，运维人员习惯不一样，可能凭本身的习惯来安装部署软件，每种服务器上运行软件的目录不统一

• 运维及部署效率低下

想一想运维人员须要登录到服务器上执行命令，部署程序，不只效率很低，而且很是容易出现人为的错误，一旦手工出错，追溯问题将会很是不容易

• 无用报警信息过多

常常会收到不少报警信息，多数是无用的报警信息，形成运维人员常常屏蔽报警信
另外若是应用的访问速度出了问题，老是须要从系统、网络、应用、数据库等一步步的查找缘由

• 资产管理和应用管理混乱

常常会收到不少报警信息，多数是无用的报警信息，形成运维人员常常屏蔽报警信
另外若是应用的访问速度出了问题，老是须要从系统、网络、应用、数据库等一步步的查找缘由

自动化运维

针对传统运维的痛点，咱们能够知道自动化运维须要支持哪些功能

​ 运维自动化最重要的就是标准化一切

• OS的选择统一化，同一个项目使用一样的OS系统部署其所须要的各种软件
• 软件安装标准化，例如JAVA虚拟机，php，nginx，mysql等各种应用须要的软件版本，安装目录，数据存放目录，日志存放目录等
• 应用包目录统一标准化，及应用命名标准化
• 启动脚本统一目录和名字，须要变化的部分经过参数传递
• 配置文件标准化，须要变化的部分经过参数传递
• 日志输出，日志目录，日志名字标准化
• 应用生成的数据要实现统一的目录存放
• 主机/虚拟机命名标准化，虚拟机管理使用标准化模板
• 使用docker比较容易实现软件运行环境的标准化

3、CMDB

功能

1. 用户管理，记录测试，开发，运维人员的用户表
2. 业务线管理，须要记录业务的详情
3. 项目管理，指定此项目用属于哪条业务线，以及项目详情
4. 应用管理，指定此应用的开发人员，属于哪一个项目，和代码地址，部署目录，部署集群，依赖的应用，软件等信息
5. 主机管理，包括云主机，物理机，主机属于哪一个集群，运行着哪些软件，主机管理员，链接哪些网络设备，云主机的资源池，存储等相关信息
6. 主机变动管理，主机的一些信息变动，例如管理员，所属集群等信息更改，链接的网络变动等
7. 网络设备管理，主要记录网络设备的详细信息，及网络设备链接的上级设备
8. IP管理，IP属于哪一个主机，哪一个网段, 是否被占用等

CMDB实现的方式

1.Agent实现方式

Agent实现方式，能够将服务器上面的Agent程序做定时任务，定时将资产信息提交到指定API录入数据库

实现流程

1.在每台服务器上都有一个agent脚本，也就是python程序，其核心就是subprocess模块的subprocess.getoutput('命令')

2.天天定时触发subprocess.getoutput('命令')，其返回值是命令的执行结果，将其发送到API中

3.API会把收到的数据进行处理，而后再存储到db，也就是数据库中

4.用户就能够经过后台管理系统，直观的看到每台服务器的各类信息




# 优缺点
# 优势
    1.执行速度快，适用于拥有超多服务器的大型公司
    
# 缺点
    1.每台服务器都必须部署一个agent脚本

核心代码

# 经过subprocess模块，在本地端运行命令，获取信息
import  subprocess
res = subprocess.getoutput('ipconfig')
# 模拟对返回数据的切分
print(res[5:6])

# request模块
import requests
# http://127.0.0.1:8000/asset/：是API的一个接口，经过request模块发送请求并携带切分后的数据，交给API，API会存入到数据库
res = requests.post('http://127.0.0.1:8000/asset/', data={"ip":res[5:6]})

2.SSH实现方式(基于Paramiko模块)

中控机经过Paramiko（py模块）登陆到各个服务器上，而后执行命令的方式去获取各个服务器上的信息

实现流程

1.与agent的不一样，SSH实现方式是把python代码放在了单独的的一个服务器上，这个服务器称之为中控机

2.中控机经过Paramiko模块以SSH方式连接，向服务器发送命令，而后得到其返回数据，并转交给API

3.API会把收到的数据进行处理，而后再存储到db，也就是数据库中

4.用户就能够经过后台管理系统，直观的看到每台服务器的各类信息




# 优缺点
# 优势
    1.相比agent方式，不用在每台服务器上都放一份脚本
    2.适用于服务器较少的场景
    
# 缺点
    1.这种方式会限制于网络，因此速度慢
    2.须要部署一台中控机

核心代码

import paramiko

# 建立SSH对象
ssh = paramiko.SSHClient()
# 容许链接不在know_hosts文件中的主机
ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())
# 链接服务器
ssh.connect(hostname='10.0.0.100', port=22, username='root', password='1')

# 执行命令
stdin, stdout, stderr = ssh.exec_command('ifconfig')
# 获取命令结果
result = stdout.read()
print(result)
# 关闭链接
ssh.close()

3.saltstack方式

经过第三方软件来实现连接服务器并执行命令

实现流程

1.该方案与第二种方案相似，可是却依靠第三方软件saltstack，saltstack有两个身份，master和minion，也就是主人和奴隶，咱们能够给中控机分配master的身份来控制全部的minion服务器

2.中控机salt-master经过salt 'minion主机名' cmd.run '命令'，向服务器minion发送命令，minion会把执行结果放到队列中，而后master从队列中取出数据，并转交给API

3.API会把收到的数据进行处理，而后再存储到db，也就是数据库中

4.用户就能够经过后台管理系统，直观的看到每台服务器的各类信息




# 优缺点
# 优势
    1.执行速度快，开发成本低
    
# 缺点
    1.比较依赖于第三方软件
    2.须要部署一台中控机

saltstack的安装、配置及使用

master端：

# 1.安装salt-master
    yum install salt-master -y
# 2.修改配置文件：/etc/salt/master
    vim /etc/salt/master
    interface: 10.0.0.100 # Master的IP     
# 3.启动
    service salt-master start


slave端：

# 1.安装salt-minion
    yum install salt-minion -y
# 2.修改配置文件 /etc/salt/minion
    vim /etc/salt/minion
    # 单个master
    master: 10.0.0.100           # master的地址
    # 多个master
    master:
        - 10.211.55.4
        - 10.211.55.5
    random_master: True
    id: c2.salt.com       # 客户端在salt-master中显示的惟一ID
# 3.启动
    service salt-minion start

    
# 4.使用
# master服务器上对salve进行远程操做
    salt 'minion主机名' cmd.run '命令'