如何在vscode中调试python scrapy爬虫

本文环境为 Win10 64bit+VS Code+Python3.6,步骤简单罗列下,此方法能够不用单独建一个Py入口来调用命令行html

  1. 安装Python,从官网下载,过程略,这里主要注意将python目录加入环境变量 Path中 "D:\Python36\" "D:\Python36\Scripts"
  2. 安装Vs code,过程略, 在vscode扩展中安装Python插件
  3. 创建你的Scrapy爬虫项目或者拷贝过来 用VSC打开,若是应用了chromedriver/ phantomjs必定要拷贝.exe到Python36目录或单独加环境变量
  4. 将根目录添加到工做区
  5. 开始准备调试,在debug这里选择添加配置,选择python中的scrapy
  6. VSC会自动带入默认的配置如图
  7. 这里注意 args就是你的参数: crawl 关键字爬取保留, specs是爬虫名字 换成你本身的,后面两个参数可根据scrapy实际状况增减
  8. 此时按F5调试, 若是报“Unknown command: crawl”错误,则须要在launch.json的scrapy中增长 "cwd"参数, 设置路径为爬虫项目名目录,通常都在scrapy下的一级
  9.  

  10. 此时再按F5 便可调试到你在spider里的断点了。

 

Unhandled error in Deferred

若是调试代码出现以上错误,而且没有详细错误信息,能够考虑从新安装正确的 pywin32,Twisted,也能够单步调试找出出错地点,具体问题具体分析python

 

package版本大全:https://www.lfd.uci.edu/~gohlke/pythonlibs/chrome

参考:http://www.stevetrefethen.com/blog/debugging-a-python-scrapy-project-in-vscodejson

 

原文出处:https://www.cnblogs.com/wfwup/p/10615859.htmlscrapy

相关文章
相关标签/搜索