scrapy爬取多页数据

初始化一个项目 新建一个爬虫文件 要爬取的网页 - 在a标签上右键 copy >>> copy xPath 复制到剪切板的是如下内容 /html/body/div[2]/div[2]/div[1]/div[4]/ul/li[2]/a 获取所有的需要爬取的页面url scrapy runspider getNews.py -o newsData.json 编写解析函数 scrapy runspide

>>阅读原文<<