PHP读取大文件,linux读取日志

工做中遇到一个问题,运营或客服常常会问一些用户使用中的问题涉及到日志查询,开始的时候来一个给查一下日志。。后来发现天天都会问个五六次。。没办法后来就给弄了个读日志的工具。php

读着读着发现有时候会出现挂掉的状况,不频发并且也不是对外的功能就没当回事儿,可是后来将多台服务器的日志互相作了软链整合以后发现基本每次查询都会挂掉,逐找时间排查问题。linux

看了眼异常日志发现日志过大,原来搜索日志的方法比较简单粗暴,直接读取后存入数组再遍历匹配。可是这样操做如今天天的日志都上几百兆了明显不可行了,后来想着日志再次细分一下吧,把一些相对比较大的日志按照类型再次划分了目录,可是想了想若是流量比如今大的话即便细分了也仍是可能会出现问题。shell

想了想方案,后来以为仍是用linux的grep来处理比较方便快捷,代码以下:数组

if ($search['keyword'] != ''){
    $file_dir = 'log/'.$path.'.log';
    if (!is_file($file_dir))goto index;
    $info = shell_exec("grep -A 3 ".$search['keyword'].' '.$file_dir);
    if (empty($info))goto index;
    $ret = explode(PHP_EOL,$info);
}

主要是利用shell_exec来执行grep返回搜索值,没具体算过期间,可是二百多兆的文件也都能在一秒内处理完。服务器

相关文章
相关标签/搜索