windows,python3.x下安装pyspider

因为是初学者,业余学习,习惯使用windows,初次了解到pyspider写代码和调试代码很是简便;做者binux是在Ubuntu下部署测试的。在做者的博客看到windows下安装的讨论。windows直接安装失败主要是lxml、pycurl安装失败,须要用第三方的库安装

pycurllxml等第三方包能够在这里下载css

http://www.lfd.uci.edu/~gohlke/pythonlibshtml

  1. 安装lxml-xx.whl、pycurl-xx.whl,先下载lxml-xx.whl,而后切换到下载目录,用pip安装,命令pip install xx.whlxx.whl改成 实际文件名
  2. pip install pyspider。若是遇到提示缺乏依赖包,请到这里找 http://www.lfd.uci.edu/~gohlke/pythonlibs/,而后pip install xx.whl (xx.whl改成实际文件名),而后重试。
  3. 完成后,请耐心看做者博客和文档学习。

文档 http://doc.scrapy.org/en/latest/python

做者博客 http://binux.me/ajax

pyspider 爬虫教程(一):HTML 和 CSS 选择器windows

pyspider 爬虫教程(二):AJAX 和 HTTPcurl

pyspider 爬虫教程(三):使用 PhantomJS 渲染带 JS 的页面scrapy

相关文章
相关标签/搜索