爬虫实践---一次下完所有小说：排行榜小说批量下载

一、目标   排行榜的地址： http://www.qu.la/paihangbang/ 找到各类排行旁的的每一部小说的名字，和在该网站的链接。 二、观察网页的结构       很容易就能发现，每一个分类都是包裹在：     之中， 这种条理清晰的网站，大大方便了爬虫的编写。 在当前页面找到所有小说的连接，并保存在列表即可。 三、列表去重的小技巧：   就算是不同类别的小说，也是会重复出现在排行榜

>>阅读原文<<