使用C# 和Consul进行分布式系统协调

随着大数据时代的到来，分布式是解决大数据问题的一个主要手段，随着愈来愈多的分布式的服务，如何在分布式的系统中对这些服务作协调变成了一个很棘手的问题。今天咱们就来看看如何使用C# ，利用开源对分布式服务作协调。

在对分布式的应用作协调的时候，主要会碰到如下的应用场景：

• 业务发现（service discovery）

找到分布式系统中存在那些可用的服务和节点

• 名字服务 （name service）

经过给定的名字知道到对应的资源

• 配置管理 （configuration management）

如何在分布式的节点中共享配置文件，保证一致性。

• 故障发现和故障转移 （failure detection and failover）

当某一个节点出故障的时候，如何检测到并通知其它节点， 或者把想用的服务转移到其它的可用节点

• 领导选举（leader election）

如何在众多的节点中选举一个领导者，来协调全部的节点

• 分布式的锁 （distributed exclusive lock）

如何经过锁在分布式的服务中进行同步

• 消息和通知服务 （message queue and notification）

如何在分布式的服务中传递消息，以通知的形式对事件做出主动的响应

Consul

Consul是用Go开发的分布式服务协调管理的工具，它提供了服务发现，健康检查，Key／Value存储等功能，而且支持跨数据中心的功能。consul提供的一些关键特性：

• service discovery：consul经过DNS或者HTTP接口使服务注册和服务发现变的很容易，一些外部服务，例如saas提供的也能够同样注册。
• health checking：健康检测使consul能够快速的告警在集群中的操做。和服务发现的集成，能够防止服务转发到故障的服务上面。
• key/value storage：一个用来存储动态配置的系统。提供简单的HTTP接口，能够在任何地方操做。
• multi-datacenter：无需复杂的配置，便可支持任意数量的区域。

Consul基于HTTP的API能够方便的和各类语言进行绑定，C# 语言绑定https://github.com/PlayFab/consuldotnet

Consul在Cluster上的每个节点都运行一个Agent，这个Agent可使用Server或者Client模式。Client负责到Server的高效通讯，相对为无状态的。 Server负责包括选举领导节点，维护cluster的状态，对全部的查询作出响应，跨数据中心的通讯等等。

consul官网已经有编译好的二进制包，支持各类平台：win、linux等等，下载符合你平台的软件包：在这里，下载包：0.5.2_windows_386.zip。解压完毕后只有一个consul文件。

D:\GitHub\consuldotnet\Consul.Test>consul

usage: consul [--version] [--help] <command> [<args>]

Available commands are:

agent Runs a Consul agent

configtest Validate config file

event Fire a new event

exec Executes a command on Consul nodes

force-leave Forces a member of the cluster to enter the "left" state

info Provides debugging information for operators

join Tell Consul agent to join cluster

keygen Generates a new encryption key

keyring Manages gossip layer encryption keys

leave Gracefully leaves the Consul cluster and shuts down

lock Execute a command holding a lock

maint Controls node or service maintenance mode

members Lists the members of a Consul cluster

monitor Stream logs from a Consul agent

reload Triggers the agent to reload configuration files

version Prints the Consul version

watch Watch for changes in Consul

consul安装完毕后，agent就能够启动了，agent能够运行在server或者client模式，每一个数据中心至少有一个agent运行在server模式，通常建议是3或者5个server。部署单个server是很是很差的，由于在失败场景中出现数据丢失是不可避免的。本文涵盖的是建立一个新的数据中心，全部其余的agents都运行在client模式，这是一个很是轻量级的服务注册进程，它会运行健康监测，并将查询结果转发到服务。agent必须运行在集群中的每个节点上。

consul.exe agent -config-file test_config.json

咱们先运行一个agent在server模式：

D:\GitHub\consuldotnet\Consul.Test> consul.exe agent -config-file test_config.json

==> WARNING: Bootstrap mode enabled! Do not enable unless necessary

==> WARNING: Windows is not recommended as a Consul server. Do not use in production.

==> WARNING: It is highly recommended to set GOMAXPROCS higher than 1

==> Starting Consul agent...

==> Starting Consul agent RPC...

==> Consul agent running!

Node name: 'GEFFZHANG-NB'

Datacenter: 'dc1'

Server: true (bootstrap: true)

Client Addr: 127.0.0.1 (HTTP: 8500, HTTPS: -1, DNS: 8600, RPC: 8400)

Cluster Addr: 192.168.1.4 (LAN: 8301, WAN: 8302)

Gossip encrypt: false, RPC-TLS: false, TLS-Incoming: false

Atlas: <disabled>

 

==> Log data will now stream in as it occurs:

 

2015/08/09 09:14:48 [INFO] serf: EventMemberJoin: GEFFZHANG-NB 192.168.1.4

2015/08/09 09:14:48 [INFO] serf: EventMemberJoin: GEFFZHANG-NB.dc1 192.168.1.4

2015/08/09 09:14:48 [INFO] raft: Node at 192.168.1.4:8300 [Follower] entering Follower state

2015/08/09 09:14:48 [INFO] consul: adding server GEFFZHANG-NB (Addr: 192.168.1.4:8300) (DC: dc1)

2015/08/09 09:14:48 [INFO] consul: adding server GEFFZHANG-NB.dc1 (Addr: 192.168.1.4:8300) (DC: dc1)

2015/08/09 09:14:48 [ERR] agent: failed to sync remote state: No cluster leader

2015/08/09 09:14:50 [WARN] raft: Heartbeat timeout reached, starting election

2015/08/09 09:14:50 [INFO] raft: Node at 192.168.1.4:8300 [Candidate] entering Candidate state

2015/08/09 09:14:50 [DEBUG] raft: Votes needed: 1

2015/08/09 09:14:50 [DEBUG] raft: Vote granted. Tally: 1

2015/08/09 09:14:50 [INFO] raft: Election won. Tally: 1

2015/08/09 09:14:50 [INFO] raft: Node at 192.168.1.4:8300 [Leader] entering Leader state

2015/08/09 09:14:50 [INFO] consul: cluster leadership acquired

2015/08/09 09:14:50 [INFO] consul: New leader elected: GEFFZHANG-NB

2015/08/09 09:14:50 [INFO] raft: Disabling EnableSingleNode (bootstrap)

2015/08/09 09:14:50 [DEBUG] raft: Node 192.168.1.4:8300 updated peer set (2): [192.168.1.4:8300]

2015/08/09 09:14:50 [DEBUG] consul: reset tombstone GC to index 2

2015/08/09 09:14:50 [INFO] consul: member 'GEFFZHANG-NB' joined, marking health alive

2015/08/09 09:14:51 [INFO] agent: Synced service 'consul'

2015/08/09 09:16:03 [DEBUG] agent: Service 'consul' in sync

2015/08/09 09:17:30 [DEBUG] agent: Service 'consul' in sync

2015/08/09 09:18:38 [DEBUG] agent: Service 'consul' in sync

2015/08/09 09:19:47 [DEBUG] http: Request /v1/status/peers (0)

2015/08/09 09:19:52 [DEBUG] agent: Service 'consul' in sync

正如你看到的同样，consul agent已经启动了，而且打印了一些日志到终端上，从日志中能够看到咱们的agent已经运行在server模式了，而且已是整个集群的领导节点。并且，本地成员已经被标记为集群中的健康成员了。这时候你在另外一个终端中运行consul members就能够看到整个集群中的成员了。这时候你只能看到你本身，由于咱们的集群中还没加入其余成员。

输出已经显示了你本身的节点信息，有地址信息、健康情况、在集群中的角色、以及一些版本信息，若是要查看一些metadata，则能够加入-detailed标记

consul members命令输出的信息是基于gossip协议产生的，而且最终一致的。

 

KV基本操做

Consul提供了一个简单的K/V存储系统，这能够用来动态获取配置、进行服务协调、主节点选举，其余开发人员能想到的build过程等等。

var client = new Client();

var kv = client.KV;

var key = GenerateTestKeyName();

var value = Encoding.UTF8.GetBytes("test");

var getRequest = kv.Get(key);

Assert.IsNull(getRequest.Response);

var pair = new KVPair(key)

{

Flags = 42,

Value = value

};

var putRequest = kv.Put(pair);

Assert.IsTrue(putRequest.Response);

getRequest = kv.Get(key);

var res = getRequest.Response;

Assert.IsNotNull(res);

Assert.IsTrue(StructuralComparisons.StructuralEqualityComparer.Equals(value, res.Value));

Assert.AreEqual(pair.Flags, res.Flags);

Assert.IsTrue(getRequest.LastIndex > 0);

var del = kv.Delete(key);

Assert.IsTrue(del.Response);

getRequest = kv.Get(key);

Assert.IsNull(getRequest.Response);

服务发现（Service Discovery）和健康检查（Health Check）

Consul的另外一个主要的功能是用于对分布式的服务作管理，用户能够注册一个服务，同时还提供对服务作健康检测的功能。

服务定义：一个服务能够经过提供服务定义配置文件或者经过调用HTTP API来动态的增长、删除、修改服务。

服务查询：一旦agent启动后，而且服务已经同步，咱们就可使用DNS或者HTTP API来进行查询了。

服务升级：服务定义的升级能够经过先修改服务定义配置文件，而后给agent发送一个SIGHUP信号便可，这样容许你在升级服务时，而不会产生agent宕机时间或者服务不可达。或者经过HTTP API接口来动态的增长、删除、修改服务。

Consul支持三种Check的模式：

• 调用一个外部脚本（Script），在该模式下，consul定时会调用一个外部脚本，经过脚本的返回内容得到对应服务的健康状态。
• 调用HTTP，在该模式下，consul定时会调用一个HTTP请求，返回2XX，则为健康；429 （Too many request）是警告。其它均为不健康
• 主动上报，在该模式下，服务须要主动调用一个consul提供的HTTP PUT请求，上报健康状态。

C# API提供对应的接口

• Client.Agent.Service
• Client.Agent.Check

Consul的Health Check，经过调用脚本，HTTP或者主动上报的方式检查服务的状态，更为灵活，能够得到等多的信息，可是也须要作更多的工做。

故障检测(Failure Detection)

Consul提供Session的概念，利用Session能够检查服务是否存活。对每个服务咱们均可以建立一个session对象，注意这里咱们设置了ttl，consul会以ttl的数值为间隔时间，持续的对session的存活作检查。对应的在服务中，咱们须要持续的renew session，保证session是合法的。

var client = new Client();

var sessionRequest = client.Session.Create(new SessionEntry() { TTL = TimeSpan.FromSeconds(10) });

var id = sessionRequest.Response;

Assert.IsTrue(sessionRequest.RequestTime.TotalMilliseconds > 0);

Assert.IsFalse(string.IsNullOrEmpty(sessionRequest.Response));

var tokenSource = new CancellationTokenSource();

var ct = tokenSource.Token;

client.Session.RenewPeriodic(TimeSpan.FromSeconds(1), id, WriteOptions.Empty, ct);

tokenSource.CancelAfter(3000);

Task.Delay(3000, ct).Wait(ct);

var infoRequest = client.Session.Info(id);

Assert.IsTrue(infoRequest.LastIndex > 0);

Assert.IsNotNull(infoRequest.KnownLeader);

Assert.AreEqual(id, infoRequest.Response.ID);

Assert.IsTrue(client.Session.Destroy(id).Response);

这里注意，由于是基于ttl（最小10秒）的检测，从业务中断到被检测到，至少有10秒的时延，对应须要实时响应的情景，并不适用。

领导选举和分布式的锁

这篇文档介绍了如何利用Consul的KV存储来实现Leader Election,利用Consul的KV功能，能够很方便的实现领导选举和锁的功能。

WEB UI

consul一样也支持web界面，这个UI能够用来查看全部的服务和节点，全部的健康检测和它们当前的状态，读取设置K/V系统的值。UI默认自动支持多datacenter。这些UI是静态html你不须要单独运行一个web服务器，consul agent自己能够配置一个web服务。

下载UI组件：WEB UI

        下载完成后是一个0.5.2_web_ui.zip压缩文件，解压后是一个dist目录。而后添加-ui-dir参数和-client参数从新启动agent。

D:\GitHub\consuldotnet\Consul.Test> consul.exe agent -config-file test_config.json -ui-dir=D:\GitHub\consuldotnet\Consul.Test\0.5.2_web_ui\dist

在浏览器中输入http://127.0.0.1:8500，便可访问UI了

有services、nodes、K/V、acl、datacenter的管理，很完善的一个系统了。

总结

Consul做为使用Go语言开发的分布式协调，对业务发现的管理提供很好的支持，他的HTTP API也能很好的和不一样的语言绑定，并支持跨数据中心的应用。缺点是相对较新，适合喜欢尝试新事物的用户。

https://github.com/anurse/Consulate

https://github.com/geffzhang/Consul-IO-WindowsDemo

https://github.com/catwithboots/Hortlak

https://github.com/catwithboots/Orek

https://github.com/geffzhang/Pk.OrleansUtils

http://blog.csdn.net/u010246789/article/category/6286612