分布式任务分发框架Gearman教程和PHP实现实例

一、Gearman介绍和使用场景

Gearman是一个分发任务的程序框架，能够用在各类场合，与Hadoop相 比，Gearman更偏向于任务分发功能。它的任务分布很是简单，简单得能够只须要用脚本便可完成。Gearman最初用于LiveJournal的图片 resize功能，因为图片resize须要消耗大量计算资源，所以须要调度到后端多台服务器执行，完成任务以后返回前端再呈现到界面。

一般，多语言多系统之间的集成是个大问题，通常来讲，人们多半会采用WebService的方式来处理此类集成问题，但无论采用何种风格的WebService，如RPC风格，或者REST风格，其自己都有必定的复杂性。相比之下，Gearman也能实现相似的做用，并且更简单易用。

一个Gearman请求的处理过程涉及三个角色：Client -> Job -> Worker。

Client：请求的发起者，能够是C，PHP，Perl，MySQL UDF等等。
Job：请求的调度者，用来负责协调把Client发出的请求转发给合适的Work。
Worker：请求的处理者，能够是C，PHP，Perl等等。

由于Client，Worker并不限制用同样的语言，因此有利于多语言多系统之间的集成。

甚至咱们经过增长更多的Worker，能够很方便的实现应用程序的分布式负载均衡架构。

 

二、Gearman job分发服务端安装

安装Gearman server and library：
wget http://launchpad.net/gearmand/trunk/0.8/+download/gearmand-0.8.tar.gz
tar zxf gearmand-0.8.tar.gz
cd gearmand-0.8
./configure
sudo make
sudo make install

中间可能会遇到些问题：
在./configure的时候，可能会出现缺乏libraries的状况，通常是缺乏libevent和uuid这两个开发包，安装之。。。

sudo apt-get install libevent-dev
sudo apt-get install uuid-dev

安装完成后再从新配置安装，安装完成后执行
sudo ldconfig

 

三、Gearman Client和Worker端PHP实现实例

安装Gearman PHP extension：
wget http://pecl.php.net/get/gearman-0.4.0.tgz
tar zxf gearman-0.4.0.tgz
cd gearman-0.4.0
phpize
./configure
sudo make
sudo make install

中间可能遇到的问题：
找不到phpize命令，phpize在php开发包中，因此要先安装php5-dev

sudo apt-get install php5-dev

安装完后，就能够在源码目录中执行phpize生成相关安装配置信息，接着执行后面的./configure等

make install后，它告诉你一个目录，生成的gearman.so就在那里。

根据须要考到相应PHP的扩展目录里（由于我直接用系统默认安装的php，它自动生成就在扩展中）


接下来修改php.ini以使php加载该模块：
php --ini

看下php.ini在哪里，sudo vim 修改之，在其中加入
extension = "gearman.so"

而后，开始编写client和worker端

client.php

<?php    
  $client= new GearmanClient();    
  $client->addServer("127.0.0.1", 4730);    
  print $client->do("title", "Linvo");    
  print "/n";    
?> 

worker.php

<?php    
  $worker= new GearmanWorker();    
  $worker->addServer("127.0.0.1", 4730);     
  $worker->addFunction("title", "title_function");    
  while (true){
     $worker->work();
     if ($this->worker->returnCode() != GEARMAN_SUCCESS) {
//Gearman 状态错误 须要作日志或异常处理
     }
  }
       
  function title_function($job)    
  {    
    $str = $job->workload();    
    return strlen($str);    
  }    
?>

准备工做已经完毕，试验开始
一、启动job
gearmand -d

二、启动worker
php -c /etc/php5/apache2/php.ini worker.php

三、启动client（新开终端中打开）
php -c /etc/php5/apache2/php.ini client.php

屏幕显示字符串的长度 “5”

这里，有几点须要说明一下：
一、这里直接用php cli方式运行，添加-c参数是为了加载php.ini配置文件，以加载gearman扩展
二、worker应该作成守护进程（CLI模式），能够开启多个，这样client发起的任务就会分发到各个worker分别来执行（自动负载均衡 ）
这个例子因为太过简单，即便开启多个worker也没法看出效果，不过能够经过终止其中一个，能够看出系统自动切换到其余worker继续正常执行
三、同理，client也是能够开启多个的（模型请参考以前的那边日志）

四、同时，job也能够开启多个，以免单点故障