使用scrapy框架爬取全书网书籍信息。

爬取的内容：书籍名称，作者名称，书籍简介，全书网5041页,写入mysql数据库和.txt文件 1，创建scrapy项目 scrapy startproject numberone 2，创建爬虫主程序 cd numberone scrapy genspider quanshuwang www.quanshuwang.com 3，setting中设置请求头 USER_AGENT = "Mozill

>>阅读原文<<