Python爬虫进阶二之PySpider框架安装配置

关于

首先，在此附上项目的地址，以及官方文档

PySpider 官方文档

安装

1. pip

首先确保你已经安装了pip，若没有安装，请参照

pip安装

2. phantomjs

PhantomJS 是一个基于 WebKit 的服务器端 JavaScript API。它全面支持web而不需浏览器支持，其快速、原生支持各类Web标准：DOM 处理、CSS 选择器、JSON、Canvas 和 SVG。 PhantomJS 能够用于页面自动化、网络监测、网页截屏以及无界面测试等。

安装

以上附有官方安装方式，若是你是 Ubuntu 或 Mac OS X用户，能够直接用命令来安装

Ubuntu:

 

 

1	sudo apt-get install phantomjs

 

Mac OS X:

 

 

1	brew install phantomjs

 

3. pyspider

直接利用 pip 安装便可

 

 

1	pip install pyspider

 

若是你是 Ubuntu 用户，请提早安装好如下支持类库

 

 

1	sudo apt-get install python python-dev python-distribute python-pip libcurl4-openssl-dev libxml2-dev libxslt1-dev python-lxml

 

测试

若是安装过程没有提示任何错误，那就证实一些OK。

命令行输入

 

 

1	pyspider all

 

而后浏览器访问 http://localhost:5000

观察一下效果，若是能够正常出现 PySpider 的页面，那证实一切OK

在此附图一张，这是我写了几个爬虫以后的界面。

好，接下来我会进一步介绍这个框架的使用。

常见错误

我曾遇到过的一个错误：

PySpider HTTP 599: SSL certificate problem错误的解决方法 ，后来在做者那发了issue获得了答案，其余的暂时没什么问题。

不过发现有的小伙伴提了各类各样的问题啊，不过我确实都没遇到过，我再Win10，Linux Ubuntu，Linux CentOS，Mac OS X都成功运行。不过确实有些奇怪的问题，跑着跑着崩了，一点就崩了我也就比较纳闷了。

若是你们有问题，能够看看做者项目里面有没有相似的issue，另外也推荐你们直接到做者的GitHub上发issue。

毕竟，这个框架不是我写的。

在此附上Issue地址：

PySpider Issue

转载：静觅 » Python爬虫进阶二之PySpider框架安装配置