利用Python爬取妙笔阁小说网站的小说信息并保存为txt和csv格式

本次爬取的是妙笔阁小说网仙侠系列中全部小说的信息，打开网页会看到以下图所示的小说列表。 根据列表，选择爬取小说的书名、做者、最新更新、简介这四项信息。 在爬取以前，为了防止网站禁止爬取，需构造访问的请求头，模拟浏览器访问该网站。那么如何构建请求头，须要找到访问网站时的代理：html 在想要爬取的页面按F12，而后点击NetWork,按F5刷新，随便点击进去一个便可，而后找到User-Agent p

>>阅读原文<<