zookeeperclient代码解读

       近期一直在忙WebPageTest（下面简称wpt）开源库的改动工做，当中一项工做需要将zookeeper（下面简称zk）集成到wpt里。

zk做为分布式系统的同步工具。实现了写的原子性（要么失败。要么成功，并不存在写一半的状况），并经过“选举组长“和”重选组长“，在负载均衡的同一时候保证数据一致性。关于zk服务端的设计，可以參考官网http://zookeeper.apache.org/。

       本文阐述zkclient的实现，一来可以梳理下思路，二来也可做为阅读笔记。

       zkclient代码比較少。全然採用C语言来实现。包含：

    一、hashtable的实现

       hashtable的实现。包含hashtable.h。hashtable.c，hashtable_itr.h和hashtable_itr.c。从代码中可以看到，hashtable的方式基本是依照JAVA中的hash表实现的。进一步讲，hash表的内部实现事实上很是easy，如图所看到的：

       hashtable内部保存了多个链表（数量可变。当当前节点数超过指定负载时添加）。元素插入。改动，删除时都以hash key为惟一主键，换言之最重要的就是保证hash key的惟一性。元素插入时，hashtable依据key计算出index。并依据index选择将元素插入第几个链表。比方：假设key计算出index为1，那么元素就被插入到list2中；假设当前负载超过最大额度。hashtable本身主动扩展链表数并对各个链表中的节点又一次hash。

       hashtable_itr.h和hashtable_itr.c是hashtable的迭代器，其实是直接对hashtable中的某个链表进行迭代。

   二、序列化和反序列化

       zk本身实现了序列化，总体而言，zk传输的网络数据都是：包长度（网络大端形式）+包内容。oarchive结构体和iarchive分别包括序列化和反序列化的函数指针，这些函数指针包括最主要的操做，如（反）序列化int，long。字符串（vector，buffer，String）。

       详细协议包头数据（zookeeper.jute.h和zookeeper.jute.c）。则依据详细数据类型。调用各个基本函数指针完毕。

     三、winconfig.h

       这里需要单独讲一下winconfig.h。在讲zk继承到wpt时，我发现编译报错HMONITOR__ type redefinition。进一步排查发现与原来是这个文件定义的类型和wpt中相冲突，在各个宏定义以前加上#ifndef推断以后，编译成功。

    四、核心实现

      核心实现中_zhandle封装zkclient的所有数据，包含zk_adaptor.h，mt_adaptor.c

      1）IO线程。

IO线程负责socket的接收或发送。发送时数据被写入到to_send链表。zk随后经过select或poll完毕。

假设是异步任务（需要回调），则同一时候建立回调并将回调数据增长到sent_requests链表。因为zk服务端保证了任务的有序性（顺序请求必定也是顺序返回）。因此当zk服务端任务结果到来，IO线程将任务结果写入to_process链表中。那么to_process中的结果和sent_requests中的回调就是相应的。

      同步调用和异步调用流程一致，不一样的是同步调用没有回调函数（实际上回调函数被指定为SYNCHRONOUS_MARKER），该标识会致使Complete线程作特殊处理。因为异步流程是没有等待的，因此同步时函数进入等待状态（等待任务标记完毕）。

      接下来就很是easy了：zk将两者统一发送给Complete线程去处理。我想zk经过顺序来肯定回调，应该是为了不在发送数据中记录回调的信息。

      2）Complete线程。Complete线程很是easy，就是IO线程的消费者：调用回调函数。

假设回调函数为SYNCHRONOUS_MARKER。则Complete通知等待线程任务完毕。