分布式的任务分发框架-Gearman

官方文档：http://gearman.org/getting-started/ 安装方法和示例都有，能够详细看一下。

Gearman是一个分发任务的程序框架，能够用在各类场合，与Hadoop相比，Gearman更偏向于任务分发功能。它的任务分布很是简单，简单得能够只须要用脚本便可完成。Gearman最初用于LiveJournal的图片resize功能，因为图片resize须要消耗大量计算资源，所以须要调度到后端多台服务器执行，完成任务以后返回前端再呈现到界面。

Gearman能够作什么

• 异步处理:图片处理,订单处理,批量邮件/通知之类的
• 要求高CPU或内存的处理:大容量的数据处理,MapReduce运算,日志汇集,视频编码
• 分布式和并行的处理
• 定时处理:增量更新,数据复制
• 限制速率的FIFO处理
• 分布式的系统监控任务

 

1,安装方法

#安装gearman
yum install gearmand
#安装libgearman
yum install libgearman-devel
#安装gearman php扩展
pecl install gearman
#添加gearman.so到 php.ini
echo "extension=gearman.so" >> /etc/php.ini

 没有pecl的话装一下

yum install php-pear

若是pecl无法安装的话，能够直接下载源代码，使用phpize编译安装

cd ~/software
wget http://pecl.php.net/get/gearman-1.1.2.tgz
cd gearman-1.1.2
phpize
./configure
make && make install

 

2，简单使用示例：（咱们使用Gearman来异步处理百度云推送服务）

先看client.php注册事件，client.php

<?php

// 建立Gearman对象
$client = new GearmanClient();
// addServer默认是localhost,端口默认是4730，若是不是默认的话能够调整
$client -> addServer();
// $client->addServer("192.168.0.0",4730);

echo "Sending job\n";

$username = "test";
$message = "message";
$data = array(
    "username" => $username,
    "message" => $message , 
);
// 注册事件 以及 传递参数 , 多个参数使用json_encode转换
// 任务能够阻塞式运行，还能够指定优先级 ；固然，也能够非阻塞（运行不等待结果）运行
// 能够参考php Gearman api文档 : doNornal, doHigh, doLow,doBackground
$result = $client -> doBackground("testFunction", json_encode($data));
if ($result) {
    echo "Success: $result\n";
}

?>

 

再看worker的处理，其实就是注册事件处理函数 ， worker.php

<?php

$worker = new GearmanWorker();
$worker->addServer();

// 注册事件及事件处理函数
$worker->addFunction("testFunction","handler");

// 运行worker
while ($worker->work());

function handler(GearmanJob $job) {
    $workload = json_decode($job->workload());
    echo "received: " . print_r($workload,1);
}


?>

能够命令行运行 php client.php , php worker.php ，这里启动顺序最好是先启动worker，这样事件能够获得及时处理；也能够先启动client，事件会在Gearman中排队，等待worker处理；

还能够启动多个worker，Gearman会自动进行负载均衡，分配到不一样的worker进行处理。

你们能够发掘更多应用场景...

 例如：经过Gearman实现MySQL到Redis的数据同步（异步复制）

 

gearman的监控：

可使用supervisor，也可使用gearman manager

使用supervisor监控gearman任务的例子见：

http://www.cnblogs.com/trying/p/4038285.html