场景:平常任务中,有时须要经过php脚本执行一些日志分析,队列处理等任务,当数据量比较大时,可使用多进程来处理。php
准备:php多进程须要pcntl,posix扩展支持,能够经过 php - m 查看,没安装的话须要从新编译php,加上参数--enable-pcntl,posix通常默认会有。
shell
建立子进程的函数fork微信
pcntl_fork — 在当前进程当前位置产生分支(子进程)。译注:fork是建立了一个子进程,父进程和子进程 都从fork的位置开始向下继续执行,不一样的是父进程执行过程当中,获得的fork返回值为子进程号,而子进程获得的是0。函数
一个fork子进程的基础示例: 学习
1 <?php 2 $pid = pcntl_fork();//父进程和子进程都会执行下面代码 3 if ($pid == -1) { 4 //错误处理:建立子进程失败时返回-1. 5 die('could not fork'); 6 } else if ($pid) { 7 //父进程会获得子进程号,因此这里是父进程执行的逻辑 8 pcntl_wait($status); 9 //等待子进程中断,防止子进程成为僵尸进程。 10 } else { 11 //子进程获得的$pid为0, 因此这里是子进程执行的逻辑。 12 }
若是一个任务被分解成多个进程执行,就会减小总体的耗时。spa
好比有一个比较大的数据文件要处理,这个文件由不少行组成。若是单进程执行要处理的任务,量很大时要耗时比较久。这时能够考虑多进程。日志
多进程处理分解任务,每一个进程处理文件的一部分,这样须要均分割一下这个大文件成多个小文件(进程数和小文件的个数等同就能够)。code
好比该文件file.log有10万行数据,如今想分4个进程处理。须要分割2.5万行一个文件。命令split能够作到。blog
split的用法比较简单,能够man split查看下手册。 队列
split -l 25000 -d file.log prefix_name
-l是按照行分割,-d是分割后的文件名按照数字,-a是分割后的文件个数位数(默认是2,作多就是99个;好比超过100个,-a能够写3)。本身尝试分割一下就知道了。
处理代码:
<?php shell_exec('split -l 25000 -d file.log prefix_name'); // 3个子进程处理任务 for ($i = 0; $i < 3; $i++){ $pid = pcntl_fork(); if ($pid == -1) { die("could not fork"); } elseif ($pid) { echo "I'm the Parent $i\n"; } else {// 子进程处理 $content = file_get_contents("prefix_name0".$i); // 业务处理 begin // 业务处理 end exit; // 必定要注意退出子进程,不然pcntl_fork() 会被子进程再fork,带来处理上的影响。 } }// 等待子进程执行结束 while (pcntl_waitpid(0, $status) != -1) { $status = pcntl_wexitstatus($status); echo "Child $status completed\n";}
能够关注微信公众号 lovephp 一块儿学习