pyspider爬取v2Ex网的python帖子

什么是pyspider 一个国人编写的强大的网络爬虫系统并带有强大的WebUI。采用Python语言编写,分布式架构,支持多种数据库后端,强大的WebUI支持脚本编辑器,任务监视器,项目管理器以及结果查看器 爬取目标 爬取每篇帖子的url,author,和title 爬取流程 在命令行运行pyspider,并能在网页端打开 2. 新建项目,命名为v2ex ,url为http://www.v2ex.
相关文章
相关标签/搜索