Python数据爬虫学习笔记（17）Scrapy糗事百科自动爬虫

一、需求：在糗事百科主页下，无需设置页码，自动爬取所有段子详情页的段子完整内容。 （1）糗事百科主页： （2）段子详情页： 二、Scrapy实现思路：        在糗事百科主页上自动提取出所有段子的详情链接，在每个段字详情页中爬取段子内容。 三、网页源代码分析： 1、糗事百科段子详情页链接分析：注意到每个段子详情的链接都含有“article” 2、糗事百科段子详情页源码分析，注意到段子内容被c

>>阅读原文<<