Chaosblade: 阿里一个超级牛逼的混沌实验实施工具

时间  2019-11-06
标签 chaosblade 阿里 一个 超级 混沌 实验 实施 工具 栏目 阿里巴巴 繁體版
原文   原文链接

Chaosblade是什么？

Chaosblade是遵循混沌工程（Chaos Engineering）原理的实验工具，用于模拟常见的故障场景，帮助提高分布式系统的可恢复性和对故障的容错性。java

Chaosblade是创建在阿里巴巴近十年故障测试和演练实践基础上，结合了集团各业务的最佳创意和实践。mysql

目前支持的演练场景有操做系统类的 CPU、磁盘、进程、网络，Java 应用类的 Dubbo、MySQL、Servlet 和自定义类方法延迟或抛异常等以及杀容器、杀 Pod，具体可执行 blade create -h 查看。linux

好了，上面的介绍是从Chaosblade的github主页抄的。git

github主页地址：github.com/chaosblade-…github

说白了，Chaosblade是一个故障模拟工具，能够模拟好比服务器CPU满了、磁盘满了、网络慢、Dubbo某个服务响应时间长、jvm中某个方法抛出异常、调用Mysql慢等等。因此这个工具对于大公司来讲是很是很是有用的，由于能够提早模拟出各类各样的故障，从而保证系统的高可用与稳定。sql

Chaosblade怎么用？

用法很是简单，分为两步：json

  1. 下载压缩包并解压：github.com/chaosblade-…
  2. 解压以后的文件中有一个blade的可执行文件，这就是Chaosblade提供的客户端工具，咱们主要使用这个工具来进行故障模拟。

关于blade的各类参数详解，你们仍是去github主页上去看吧，这里不介绍了，我主要想给你们看一下故障模拟的具体使用以及效果。bash

接下来会介绍Chaosblade六个使用场景：服务器

  • 模拟服务器CPU爆满
  • 模拟服务器磁盘爆满
  • 模拟调用某个Dubbo服务超时
  • 模拟JVM中某个方法抛出异常或者修改方法返回值
  • 模拟调用Mysql超时或出现异常
  • 模拟服务器网络缓慢

场景一：服务器CPU爆满

故障演练前系统的cpu状态，直接使用top -o CPU命令查看： 微信

image.png

进行故障演练：

$ ./blade create cpu fullload
{"code":200,"success":true,"result":"a0682a98d0d7d900"}
复制代码

命令执行后返回成功则证实故障演练成功，再查看top -o CPU命令：

image.png

咱们经过结果能够看出来Chaosblade应该就是让本身去占满cpu从而使服务器的cpu爆满。

场景二：服务器磁盘爆满

若是要模拟磁盘爆满，实际上只须要在某个文件夹中去生成一个很大的文件就好了，因此咱们这里建立一个/bladedisk文件夹。

进行故障演练前，/bladedisk文件夹的大小为：

$ du -sh /bladedisk/
  0B	/bladedisk/
复制代码

进行故障演练，执行一下命令：

./blade create disk fill -d --mount-point /bladedisk --size 1024
复制代码

正常状况下会在/bladedisk文件夹下建立一个chaos_filldisk.log.dat文件。此文件的大小为1024个字节。

我这里为何说正常状况下，由于我用的是Max OX系统，在执行上面的命令时会报错。具体的错误已提交github issues，感兴趣的同窗能够关注一下，issue地址。

小花絮：在提交issue时，我用的中文，可是被chaosblade-bot自动翻译为了英文，很厉害。

那么你们能够在本身的系统中试试，这个issue解决后，我会对文章进行更新后补充。你们这里只须要知道Chaosblade能够模拟这种场景以及对应的原理就好了。

场景三：调用某个Dubbo服务超时

官网的Demo中给咱们提供了：

你们把上面的服务提供者和服务消费者jar包下载下来以后，进到下载目录，而后经过下面命令运行起来：

# 启动 dubbo-provider
nohup java -Djava.net.preferIPv4Stack=true -Dproject.name=dubbo-provider -jar dubbo-provider-1.0-SNAPSHOT.jar > provider.nohup.log 2>&1 &
# 稍等 2 秒，而后启动 dubbo-consumer
nohup java -Dserver.port=8080 -Djava.net.preferIPv4Stack=true -Dproject.name=dubbo-consumer -jar dubbo-consumer-1.0-SNAPSHOT.jar > consumer.nohup.log 2>&1 &
复制代码

nohup是linux中的命令，可让java命令后台运行。

运行起来后，能够经过下面的命令来进行服务调用：

http://localhost:8080/hello?msg=world
复制代码

正常状况下，该请求会很快的完成并返回：

{
"date": "Wed Jul 03 16:33:10 CST 2019",
"msg": "Dubbo Service: Hello world"
}
复制代码

进行故障演练：

$ ./blade prepare jvm --process dubbo.consumer
{"code":200,"success":true,"result":"5cdbc31f46a3d621"}
$ ./blade create dubbo delay --time 3000 --service com.alibaba.demo.HelloService --methodname hello --consumer --process dubbo.consumer
{"code":200,"success":true,"result":"3e705e8babe8a86c"}
复制代码

上面的命令会使consumer在调用com.alibaba.demo.HelloService服务的hello方法时增长3秒的延时。当咱们访问上面访问的路径时会比以前等待的更久一点。

在对dubbo进行故障演练时，其实支持的细分场景不少，由于在dubbo中分为consumer和provider两种角色，当consumer在调用provider时，咱们如今想使这个请求增长延时，咱们既能够在provider端针对指定的服务增长延时，也能够在consumer调用时针对指定的服务进行延时，因此咱们能够稍微看下上面的命令，它实际上是在consumer进行控制的，命令也是支持在provider端进行控制的，咱们运行一下如下命令：

blade create dubbo delay --help
复制代码

将看到帮助中有下面的信息：

Flags:
      --appname string          The consumer or provider application name
      --consumer                To tag consumer role experiment.
      --effect-count string     The count of chaos experiment in effect
      --effect-percent string   The percent of chaos experiment in effect
  -h, --help                    help for delay
      --methodname string       The method name
      --offset string           delay offset for the time
      --process string          Application process name
      --provider                To tag provider experiment
      --service string          The service interface
      --time string             delay time (required)
      --timeout string          set timeout for experiment
      --version string          the service version
复制代码

其中就有--consumer和--provider，表示的就是命令中能够控制服务调用的两端。因此若是咱们想控制provider端，想让某个接口被调用时超时的话，是彻底能够进行故障演练的。

那么关于底层原理的话，须要你们对Dubbo比较了解，Dubbo中是有动态配置功能的，因此Chaosblade应该也是利用了dubbo的动态配置功能。

场景四：JVM中某个方法抛出异常或者修改方法返回值

Chaosblade支持直接操做jvm中的方法，使它抛出异常或修改其返回值。

先准备一个MockJvm类：

package com;
import java.util.concurrent.TimeUnit;
public class MockJvm {
    public String test() {
        return "test...";
    }

    public static void main(String[] args) throws InterruptedException {
        MockJvm testJVM = new MockJvm();

        while (true) {
            try {
                System.out.println(testJVM.test());
            } catch (Exception e) {
                System.out.println(e.getMessage());
            }
            TimeUnit.SECONDS.sleep(3);
        }
    }
}
复制代码

这个类会每隔三秒调用一下test方法，并打印出方法的返回值，而且在捕获test方法所抛出的异常进行打印，test方法默认返回"test"。咱们运行这个类，让这个类一直在运行状态，正常运行时，控制台会打印以下：

test...
test...
test...
test...
复制代码

方法抛出异常

$ ./blade prepare jvm --process MockJvm
{"code":200,"success":true,"result":"5ff98509d2334906"}
$ ./blade create jvm throwCustomException --process MockJvm --classname com.MockJvm --methodname test --exception java.lang.Exception
{"code":200,"success":true,"result":"f9052478db2f7ffc"}
复制代码

上面的命令模拟了MockJvm进程下的com.MockJvm类中的test方法会抛出java.lang.Exception异常。一旦这个命令执行成功，那么咱们上面一直在运行的代码控制台将抛出异常：

test...
test...
test...
chaosblade-mock-exception
chaosblade-mock-exception
复制代码

使用如下命令能够撤回刚刚的场景模拟：

./blade destroy f9052478db2f7ffc // f9052478db2f7ffc。
复制代码

撤回以后，控制台将恢复正常的打印：

chaosblade-mock-exception
chaosblade-mock-exception
chaosblade-mock-exception
chaosblade-mock-exception
test...
test...
复制代码

修改方法的返回值

使用如下命令能够修改方法的返回值：

$ ./blade create jvm return --process MockJvm --classname com.MockJvm --methodname test --value hahaha...
{"code":200,"success":true,"result":"9ffce12b1fdc2580"}
复制代码

控制台将打印出：

test...
test...
test...
hahaha...
hahaha...
hahaha...
复制代码

能够看到成功修改了test方法的返回值。

场景五：调用Mysql超时或出现异常

Chaosblade目前支持Mysql场景分为调用Mysql超时或者执行语句时出现异常。可是它是在JDBC这一层进行控制的，并无真正的去控制mysql服务端。

这里先用JDBC写一个测试类：

package com;

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.Statement;
import java.time.LocalDateTime;
import java.util.concurrent.TimeUnit;

public class JDBCConnection {
    public static String url_encrypt="jdbc:mysql://127.0.0.1:3306/test?useSSL=false";
    public static String user="root";
    public static String password="Nice89163";

    public static void main(String[] args) throws Exception {
        Class.forName("com.mysql.jdbc.Driver");
        Connection conn  = DriverManager.getConnection(url_encrypt,user,password);
        Statement stmt= conn.createStatement();

        while (true) {
            try {
                LocalDateTime before = LocalDateTime.now();
                ResultSet rs = stmt.executeQuery("select * from t_test");
                LocalDateTime after = LocalDateTime.now();
                System.out.println("执行时间：" + (after.getSecond() - before.getSecond()));
            } catch (Exception e) {
                System.out.println(e.getMessage());
            }
            TimeUnit.SECONDS.sleep(3);
        }

    }
}
复制代码

这个JDBCConnection类直接使用JDBC来执行sql，依赖mysql-connector-java对应的jar。这里我在测试的时候发现，若是使用mysql-connector-java@5.1.47这个版本能够正常的进行故障模拟，若是使用mysql-connector-java@8.0.15版本则不能进行正常的故障模拟，具体缘由尚未去查。

这个测试的功能是去进行select查询，而且若是在select的时候若是抛出异常会被捕获而且进行打印，而且还会计算select语句执行所花费的时间。

首先将上面的类运行起来，控制台将一直打印以下：

执行时间：0
执行时间：0
执行时间：0
复制代码

调用Mysql抛出异常

运行下面的命令开始故障模拟：

$ ./blade prepare jvm --process JDBCConnection
{"code":200,"success":true,"result":"f278e66ddb1b4e11"}
$ ./blade create mysql throwCustomException --database test --host 127.0.0.1 --port 3306 --process JDBCConnection --sqltype select --table t_test --exception java.lang.Exception
{"code":200,"success":true,"result":"ddd6799da50f9201"}
复制代码

命令执行成功后，控制台将打印出异常：

执行时间：0
执行时间：0
执行时间：0
Unexpected exception encountered during query.
Unexpected exception encountered during query.
复制代码

使用如下命令能够撤回刚刚的场景模拟：

./blade destroy ddd6799da50f9201 
复制代码

撤回以后，控制台将恢复正常的打印：

Unexpected exception encountered during query.
Unexpected exception encountered during query.
Unexpected exception encountered during query.
执行时间：0
执行时间：0
复制代码

调用Mysql增长延迟

直接使用如下命令将使得在执行select时增长4秒的延时，注意都是在JDBC层控制的。

$ ./blade create mysql delay --database test --host 127.0.0.1 --port 3306 --process JDBCConnection --sqltype select --table t_test --time 4000
{"code":200,"success":true,"result":"8e5b35e76098caab"}
复制代码

命令执行完成后，控制台将打印出：

执行时间：0
执行时间：0
执行时间：4
执行时间：4
执行时间：4
复制代码

场景六：服务器网络缓慢

Chaosblade也能够对网络进行控制，好比运行下面命令能够限制通过eth0网卡的网络都会延迟3秒：

./blade create network delay --interface eth0 --time 3000
复制代码

不过Mac系统还不支持这个场景，由于它实际是利用的linux系统下的tc(Traffic Control)命令，因此要模拟的话就要使用linux系统，这里我就不去模拟了。

总结

原本，我是打算写一篇关于Chaosblade完整使用的文章的，可是目前看来它还不是很完善，因此此次就写到这里，我要去github上面提issue去了。

可是，我相信经过这篇文章，你们应该对Chaosblade的做用和功能都有所了解了，大家有收获就是个人目的。

有痛点才有创新，一个技术确定都是为了解决某个痛点才出现的。 请帮忙转发一下，若是想第一时间学习更多的精彩的内容，请关注微信公众号：1点25

reny125.jpeg
相关文章
相关标签/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公众号
   欢迎关注本站公众号,获取更多信息
联系我们 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程