PHP蜘蛛爬虫开发文档

《我用爬虫一天时间“偷了”知乎一百万用户，只为证实PHP是世界上最好的语言 》所使用的程序框架

编写PHP网络爬虫, 须要具有如下技能:

• 爬虫采用PHP编写

• 从网页中抽取数据须要用XPath

• 固然咱们还能够使用CSS选择器

• 不少状况下都会用到正则表达式

• Chrome的开发者工具是神器, 不少AJAX请求须要用它来分析

注意：本框架只能在命令行下运行，命令行、命令行、命令行，重要的事情说三遍 ^_^

第一个demo

爬虫采用PHP编写, 下面以糗事百科为例, 来看一下咱们的爬虫长什么样子:

$configs = array( 'name' => '糗事百科', 'domains' => array( 'qiushibaike.com', 'www.qiushibaike.com' ), 'scan_urls' => array( 'http://www.qiushibaike.com/' ), 'content_url_regexes' => array( "http://www.qiushibaike.com/article/\d+" ), 'list_url_regexes' => array( "http://www.qiushibaike.com/8hr/page/\d+\?s=\d+" ), 'fields' => array( array( // 抽取内容页的文章内容
                'name' => "article_content", 'selector' => "//*[@id='single-next-link']", 'required' => true ), array( // 抽取内容页的文章做者
                'name' => "article_author", 'selector' => "//div[contains(@class,'author')]//h2", 'required' => true ), ), ); $spider = new phpspider($configs); $spider->start();

爬虫的总体框架就是这样, 首先定义了一个$configs数组, 里面设置了待爬网站的一些信息, 而后经过调用$spider = new phpspider($configs);和$spider->start();来配置并启动爬虫.

运行界面以下:

$configs对象如何定义, 后面会做详细介绍.^_^

---

官方下载地址：https://github.com/owner888/phpspider

官方开发手册：https://doc.phpspider.org/