最近在用php作网站抓取,使用的是CURL。可是数据抓取的效率过低,分析了一下发现:网速问题最大的瓶颈,但这个我无能为力;可是后来我发现,其实除了网速,提升代码内部执行的效率也很重要。php
举例说明吧,先来看看我最原始的代码:html
<?phpmysql
$s=gettime();
$url="http://localhost/index.html";
for($i=1;$i<=10000;$i++){
gethtml($url);
}
$e=gettime();
echo $e-$s."\n";
function gethtml($url){
$ch=curl_init($url);
curl_setopt($ch,CURLOPT_HEADER,0);
curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);
$html=curl_exec($ch);
curl_close($ch);
return $html;
}
function gettime(){
list($sec,$usec)=explode(" ",microtime());
return $sec+$usec;
}
?>sql
为了取消网速的影响,因此抓取的页面改为本地,index.html文件内空为空。curl
上面代码执行时间最短是3秒,最长的一次是30秒,不过整体来讲仍是3秒的时候比较多。函数
后来我对代码优化了一下,将curl的声明放到了循环的外面,以下:优化
<?php网站
$s=gettime();
$url="http://localhost/index.html";
$ch=curl_init($url);
for($i=1;$i<=10000;$i++){
gethtml($url,$ch);
}url
curl_close($ch);
$e=gettime();
echo $e-$s."\n";
function gethtml($url,$ch){
curl_setopt($ch,CURLOPT_HEADER,0);
curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);
$html=curl_exec($ch);
return $html;
}
function gettime(){
list($sec,$usec)=explode(" ",microtime());
return $sec+$usec;
}
?>htm
这样修改之后,代码的执行时间基本在1.5秒左右,相对于第一段代码,效率提升了一倍。
为了作个对比,说明是函数调用仍是循环内初始化curl浪费了时间,因此对上面代码做了以下修改:
<?php
$s=gettime();
$url="http://localhost/index.html";
for($i=1;$i<=10000;$i++){
$ch=curl_init($url);
gethtml($url,$ch);
curl_close($ch);
}
$e=gettime();
echo $e-$s."\n";
function gethtml($url,$ch){
curl_setopt($ch,CURLOPT_HEADER,0);
curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);
$html=curl_exec($ch);
return $html;
}
function gettime(){
list($sec,$usec)=explode(" ",microtime());
return $sec+$usec;
}
?>
上面代码与第一段代码效率没有太大差异,最短为3秒,最长我见过33秒,以3秒左右居多。
因而可知,在循环体内的函数调用并不会影响代码的执行效率。
可是在循环内声明变量、初始化变量,特别是初始化大型的变量/对象/资源(如curl,mysql等),会很大程序上影响代码的执行效率。