php多进程总结

时间 2019-11-12

标签 php 进程总结栏目 PHP 繁體版

原文原文链接

本文部分来自网络参考，部分本身总结，因为一直保存在笔记中，并无记录参考文章地址，若有侵权请通知删除。最近快被业务整疯了，这个等抽时间还须要好好的整理一番。

多进程--fork

场景：平常任务中，有时须要经过php脚本执行一些日志分析，队列处理等任务，当数据量比较大时，可使用多进程来处理。php

准备：php多进程须要pcntl，posix扩展支持，能够经过 php - m 查看，没安装的话须要从新编译php，加上参数--enable-pcntl，posix通常默认会有。html

注意：node

　　多进程实现只能在cli模式下，在web服务器环境下，会出现没法预期的结果,我测试报错：Call to undefined function: pcntl_fork()linux

一个错误 pcntl_fork causing “errno=32 Broken pipe” #474 ，看https://github.com/phpredis/phpredis/issues/474git

注意两点：若是是在循环中建立子进程,那么子进程中最后要exit,防止子进程进入循环。
子进程中的打开链接不能拷贝，使用的仍是主进程的，须要用多例模式。github

pcntl_fork:web

　　一次调用两次返回，在父进程中返回子进程pid，在子进程中返回0，出错返回-1。redis

pcntl_wait ( int &$status [, int $options ] )：shell

　　阻塞当前进程，直到任意一个子进程退出或收到一个结束当前进程的信号,注意是结束当前进程的信号,子进程结束发送的SIGCHLD不算。使用$status返回子进程的状态码，并能够指定第二个参数来讲明是否以阻塞状态调用api

阻塞方式调用的，函数返回值为子进程的pid,若是没有子进程返回值为-1；

非阻塞方式调用，函数还能够在有子进程在运行但没有结束的子进程时返回0。

pcntl_waitpid ( int $pid , int &$status [, int $options ] )

功能同pcntl_wait，区别为waitpid为等待指定pid的子进程。当pid为-1时pcntl_waitpid与pcntl_wait 同样。在pcntl_wait和pcntl_waitpid两个函数中的$status中存了子进程的状态信息。

检测是不是cli模式

/** 确保这个函数只能运行在SHELL中 */
if (substr(php_sapi_name(), 0, 3) !== 'cli') {
　　die("cli mode only");
}

SHELL脚本实现多进程（Qbus的多进程就是这样实现的，只不过用上了nohup 和 & 改成守护进程）：

#!/bin/bash
 
for((i=1;i<=8;i++))
do    
    /usr/local/bin/php multiprocessTest.php &
done
 
wait

上面的shell程序，列了一个很简单的多进程程序，用一个for循环，实现了8进程并发来跑multiprocessTest.php这个程序。最后的wait语句，也可使主进程，再等待全部进程都执行完后再往下执行的需求。

这个程序是没有问题的，不少现有的代码也都这样实现，可是这个程序的并发数是不可控的，即咱们没法根据机器的核数去调度每个进程的开关。

若咱们的机器有8核或者更多，上面的程序是没有问题的，全部核都能充分利用，而且互相之间，没有争抢资源的状况出现。

但咱们的机器要没有8核的话会是什么状况，同一时间运行的进程数多于核数，那么系统就会出现进程分配调度的问题，争抢资源也跟着相应而来，一个进程不能保证独立连续的执行，全部的进程运行会遵从系统的调度，这样就会有更多的不肯定因素出现。

一个始终保持固定个数的子进程在跑的例子

<?php

//最大的子进程数量
$maxChildPro = 8;

//当前的子进程数量
$curChildPro = 0;

//当子进程退出时，会触发该函数,当前子进程数-1
function sig_handler($sig)
{
    global $curChildPro;
    switch ($sig) {
        case SIGCHLD:
            echo 'SIGCHLD', PHP_EOL;
            $curChildPro--;
            break;
    }
}

//配合pcntl_signal使用，简单的说，是为了让系统产生时间云，让信号捕捉函数可以捕捉到信号量
declare(ticks = 1);

//注册子进程退出时调用的函数。SIGCHLD：在一个进程终止或者中止时，将SIGCHLD信号发送给其父进程。
pcntl_signal(SIGCHLD, "sig_handler");

while (true) {
    $curChildPro++;
    $pid = pcntl_fork();
    if ($pid) {
//父进程运行代码,达到上限时父进程阻塞等待任一子进程退出后while循环继续
        if ($curChildPro >= $maxChildPro) {
            pcntl_wait($status);
        }
    } else {
//子进程运行代码
        $s = rand(2, 6);
        sleep($s);
        echo "child sleep $s second quit", PHP_EOL;
        exit;
    }
}

一个使用waitpid函数等待所有子进程退出，防止僵尸进程的例子

<?php

$childs = array();

// Fork10个子进程
for ($i = 0; $i < 10; $i++) {
    $pid = pcntl_fork();
    if ($pid == -1)
        die('Could not fork');

    if ($pid) {
        echo "parent \n";
        $childs[] = $pid;
    } else {
// Sleep $i+1 (s). 子进程能够获得$i参数
        sleep($i + 1);

// 子进程须要exit,防止子进程也进入for循环
        exit();
    }
}

while (count($childs) > 0) {
    foreach ($childs as $key => $pid) {
        $res = pcntl_waitpid($pid, $status, WNOHANG);

//-1表明error, 大于0表明子进程已退出,返回的是子进程的pid,非阻塞时0表明没取到退出子进程
        if ($res == -1 || $res > 0)
            unset($childs[$key]);
    }

    sleep(1);
}

一个实际的例子，php实现并发log拷贝

<?php
function _fetchLog()
{
    $password        = $this->_getPassword();
    $online_log_path = NginxConf::getArchiveDir($this->_stat_day);
    $task_log_path   = QFrameConfig::getConfig('LOG_PATH');
    $children        = array();
    $success         = true;
    foreach($this->_server_list as $host => $value)
    {
        $local_dir = $this->_prepareLocalDir($host);
        $task_log  = "$task_log_path/fetch_log.$host";
        $cmd = "sshpass -p $password rsync -av -e 'ssh -o StrictHostKeyChecking=no' $host:$online_log_path/* $local_dir >> $task_log 2>&1";
        $pid = pcntl_fork();
        if(-1 === $pid)
        {
            LogSvc::log('stat_pv_by_citycode_error', 'could not fork');
            exit('could not fork');
        }
        else if(0 === $pid)
        {
            system($cmd, $return_value);
            if(0 !== $return_value)
            {
                LogSvc::log('stat_pv_by_citycode_error', "rsync $host error");
            }
            exit($return_value);
        }
        else
        {
            $children[$pid] = 1;
        }
    }
    while(!empty($children))
    {
        $pid = pcntl_waitpid(-1, $status, WNOHANG);
        if(0 === $pid)
        {
            sleep(1);
        }
        else
        {
            if(0 !== pcntl_wexitstatus($status))
            {
                $success = false;
            }
            unset($children[$pid]);
        }
    }
    return $success;
}

多进程--信号

同类信号只能存储一个，多余的自动丢弃

能够发送小于0的值表明发给所有子进程，包括本身，实际上是一个组的进程。

PCNTL使用ticks来做为信号处理机制（signal handle callback mechanism），能够最小程度地下降处理异步事件时的负载。何谓ticks？Tick 是一个在代码段中解释器每执行 N 条低级语句就会发生的事件，这个代码段须要经过declare来指定。

　　　　pcntl_signal ( int $signo , callback $handler [, bool $restart_syscalls ] ) //为某个SIG注册一个处理函数

posix_kill(posix_getpid(), SIGHUP); 为本身生成SIGHUP信号

declare(ticks = 1); //php < 5.3

pcntl_signal_dispatch ( void )

调用每一个等待信号经过pcntl_signal() 安装的处理器。说明一下：pcntl_signal()函数仅仅是注册信号和它的处理方法，真正接收到信号并调用其处理方法的是pcntl_signal_dispatch()函数必须在循环里调用，为了检测是否有新的信号等待dispatching。

pcntl_signal_dispatch()

　　　　　　这个函数是PHP 5.3以上才支持的，若是你的PHP版本大于5.3，建议使用这个方法调用信号处理器。5.3如下的版本须要在注册信号以前加一句：declare(ticks = 1);表示每执行一条低级指令，就检查一次信号，若是检测到注册的信号，就调用其信号处理器。

pcntl_alarm ( int $seconds )

设置一个$seconds秒后发送SIGALRM信号的计数器

5.发送信号：

posix_kill(): 向进程发送信号。

SIGINT : 经过键盘CTRL+C.

SIGTERM : 有时候进程失去响应了还会执行kill [PID]命令，未加任何其余参数的话，程序会接收到一个SIGTERM信号。

程序收到上面两个信号的时候，默认都会结束执行，能够经过注册信号改变默认行为。

一个注册信号处理器的例子，获得结论：

sleep函数会被信号唤醒，再也不休眠，返回唤醒时剩余的秒数

对于说法同类信号只能存储一个，多余的自动丢弃，测试发现屡次CTRL+C后，进程会先唤醒sleep，再唤醒usleep，当执行到pcntl_signal_dispatch时，会一次输出多个“SIGINT”，不知道存储一个是否是只的是什么地方。

<?php

// 定义一个处理器，接收到SIGINT信号后只输出一行信息
function signalHandler($signal)
{
    if ($signal == SIGINT) {
        echo 'SIGINT', PHP_EOL;
    }
}

// 信号注册：当接收到SIGINT信号时，调用signalHandler()函数
pcntl_signal(SIGINT, 'signalHandler');

/**
 * PHP < 5.3 使用
 * 配合pcntl_signal使用,表示每执行一条低级指令，就检查一次信号，若是检测到注册的信号，就调用其信号处理器。
 */
if (!function_exists("pcntl_signal_dispatch")) {
    declare(ticks=1);
}

while (true) {
    $s = sleep(10);
    echo $s, PHP_EOL; //信号会唤醒sleep,返回剩余的秒数。

// do something
    for ($i = 0; $i < 5; $i++) {
        echo $i . PHP_EOL;
        usleep(100000);
    }

    /**
     * PHP >= 5.3
     * 调用已安装的信号处理器
     * 必须在循环里调用，为了检测是否有新的信号等待dispatching。
     */
    if (!function_exists("pcntl_signal_dispatch")) {
        pcntl_signal_dispatch();
    }

}

一个隔5s发一个信号的例子，经过pcntl_alarm实现

<?php

declare(ticks = 1);

function signal_handler($signal) {
    print "Caught SIGALRM\n";
    pcntl_alarm(5);
}

pcntl_signal(SIGALRM, "signal_handler", true);
pcntl_alarm(5);

for(;;) {
}

一个经过发送信号杀死进程的例子，信号能够发给本身也能够发给其余进程。

<?php

/**
 * 父进程经过pcntl_wait等待子进程退出
 * 子进程经过信号kill本身,也能够在父进程中发送kil信号结束子进程
 */

//生成子进程
$pid = pcntl_fork();
if($pid == -1){
    die('could not fork');
}else{
    if($pid){
        $status = 0;
//阻塞父进程，直到子进程结束，不适合须要长时间运行的脚本.
        //可以使用pcntl_wait($status, WNOHANG)实现非阻塞式
        pcntl_wait($status);
        exit;
    }else{
//结束当前子进程，以防止生成僵尸进程
        if(function_exists("posix_kill")){
            posix_kill(getmypid(), SIGTERM);
        }else{
            system('kill -9'. getmypid());
        }
        exit;
    }
}

多进程--僵尸进程

当子进程比父进程先退出，可是父进程还在运行中而且可能很长一段时间不会退出，子进程就变成了僵尸进程。而后内核会找到这个僵尸进程的PPID,给这个PPID发送一个SIGCHLD信号。若是父进程中没有经过pcntl_wait或者pcntl_waitpid函数处理，而且没有经过posix_kill发送退出信号给子进程，那么这个子进程就完全僵尸了。

ps aux查看到时Z（zombie）状态。

通常须要在父进程结束前回收子进程先，pcntl_wait()函数会将父进程挂起，直到一个子进程退出。

若是父进程先挂了，子进程会被1号进程接管，当子进程结束时1号进程会自动回收。因此关闭僵尸进程的另外一种方法就是关闭他们的父进程。

子进程如何得知父进程退出：

1. 当父进程退出时，会有一个INIT进程来领养这个子进程。这个INIT进程的进程号为1，因此子进程能够经过使用getppid()来取得当前父进程的pid。若是返回的是1，代表父进程已经变为INIT进程，则原进程已经推出。

2. 使用kill函数，php中是posix_kill，向原有的父进程发送空信号（kill(pid, 0)）。使用这个方法对某个进程的存在性进行检查，而不会真的发送信号。因此，若是这个函数返回-1表示父进程已经退出。

僵尸进程：

在UNIX 系统中，一个进程结束了，可是他的父进程没有等待（调用wait / waitpid）他，那么他将变成一个僵尸进程。

僵尸进程是一个早已死亡的进程，但在进程表（processs table）中仍占了一个位置（slot）。

僵尸进程不及时回收，会在系统中占用一个进程表项，若是这种僵尸进程过多，最后系统就没有能够用的进程表项，因而也没法再运行其它的程序。

任何进程在退出前（exit退出）都会变为僵尸进程。用于保存进程的状态等信息。为何呢？

子进程的结束和父进程的运行是一个异步过程，即父进程永远没法预测子进程到底何时结束。那么会不会由于父进程太忙来不及 wait 子进程，或者说不知道子进程何时结束，而丢失子进程结束时的状态信息呢？不会。由于UNIX提供了一种机制能够保证，只要父进程想知道子进程结束时的状态信息，就能够获得。这种机制就是：当子进程走完了本身的生命周期后，它会执行exit（）系统调用，内核释放该进程全部的资源，包括打开的文件，占用的内存等。可是仍然为其保留必定的信息（包括进程号the process ID，退出码exit code，退出状态the terminationstatus of the process，运行时间the amount of CPU time taken by the process等），这些数据会一直保留到系统将它传递给它的父进程为止，直到父进程经过wait / waitpid来取时才释放。

预防僵尸进程

（1）父进程经过wait和waitpid等函数等待子进程结束，这会致使父进程挂起。它不适合子进程须要长时间运行的状况(会致使超时)。

执行wait（）或waitpid（）系统调用，则子进程在终止后会当即把它在进程表中的数据返回给父进程，此时系统会当即删除该进入点。在这种情形下就不会产生defunct进程。

（2）若是父进程很忙，那么能够用signal函数为SIGCHLD安装handler。在子进程结束后，父进程会收到该信号，能够在handler中调用wait回收。

（3）若是父进程不关心子进程何时结束，那么能够用signal（SIGCLD, SIG_IGN）或signal（SIGCHLD, SIG_IGN）通知内核，本身对子进程的结束不感兴趣，那么子进程结束后，内核会回收，并再也不给父进程发送信号

（4）fork两次，父进程fork一个子进程，而后继续工做，子进程fork一个孙进程后退出，那么孙进程被init接管，孙进程结束后，init会回收。不过子进程的回收还要本身作。

查看和清零僵尸进程：测试发现经过 ps -ef 和 aux 是不能看到僵尸进程的。

须要经过top命令实时看到当前系统的僵尸进程个数。

用ps命令查看僵尸进程：

            ps -A -ostat,ppid,pid,cmd | grep -e '^[Zz]'

           命令注解：

　　-A 参数列出全部进程

　　-o 自定义输出字段 咱们设定显示字段为 stat（状态）, ppid（进程父id）, pid(进程id)，cmd（命令）这四个参数

状态为 z或者Z 的进程为僵尸进程，因此咱们使用grep抓取stat状态为zZ进程

        运行结果以下：

    这时，可使用 kill -HUP 5255 杀掉这个进程。若是再次查看僵尸进程还存在，能够kill -HUP 5253（父进程）。

若是有多个僵尸进程，能够经过

    ps -A -ostat,ppid,pid,cmd | grep -e '^[Zz]'|awk 'print{$2}'|xargs kill -9

    处理。

多进程--进程间通讯（IPC）

管道用于承载进程之间的通信数据。为了方便理解，能够将管道比做文件，进程A将数据写到管道P中，而后进程B从管道P中读取数据。php提供的管道操做 API与操做文件的API基本同样，除了建立管道使用posix_mkfifo函数，读写等操做均与文件操做函数相同。固然，你能够直接使用文件模拟管道，可是那样没法使用管道的特性了。

管道的例子：http://www.cnblogs.com/bourneli/archive/2012/07/06/2579893.html

多进程--守护进程

nohup 守护进程

项目的Qbus实现

百度nohup

百度守护进程

php写守护进程： http://blog.csdn.net/tengzhaorong/article/details/9764655

多进程--socket实现简单TCP server

韩天峰： http://rango.swoole.com/archives/48

上边的是接收端，能够把Qframe中的发送写上，，测试成功否。

<?php

static public function sendSDKMsg($version)
{/*{{{*/
    if(!self::sendRandChance(self::EA_LAST_TIME_KEY.":".$version)) return false;

    $fp = @fsockopen( "udp://".self::UDP_HOST , self::UDP_PORT , $errno );
    if( !$fp ) return false;
    stream_set_timeout( $fp , 0 , 100 );
    stream_set_blocking( $fp , 0 );

    $sysinfo    = posix_uname();
    $msg        = $version." - ".$sysinfo['nodename']." - ".date('Y-m-d H:i:s',time());
    $res        = fwrite( $fp , $msg );
    fclose($fp);
}/*}}}*/

static public function sendRandChance($key)
{/*{{{*/
    $now = microtime(true);

    if(function_exists("eaccelerator_get"))
    {
        $lastInserTime = eaccelerator_get($key);
        if(!$lastInserTime) $lastInserTime = 0;

        if( ($now - $lastInserTime) < self::SEND_INTERVAL ) return false;
        eaccelerator_put($key, $now);
        return true;
    }else if(function_exists("apc_fetch"))
    {
        $lastInserTime = apc_fetch($key);
        if(!$lastInserTime) $lastInserTime = 0;

        if( ($now - $lastInserTime) < self::SEND_INTERVAL ) return false;
        apc_store($key, $now);
        return true;
    }

    $rand = rand(1,60);
    if((time()%60 == $rand) && rand(0,20) == 3)
    {
        return true;
    }
    return false;
}/*}}}*/