学弟他做为一个宅男,闲着没事就喜欢用我教他的Python来爬一些 “资源” 套图欣赏,我每次都骂他你老是这样找个女友很差点,他不觉得然,依旧如故。气的我只好把他写的东西发出来让更多的人来谴责他!程序员
咱们先看一下他的效果图:编程
在这里仍是要推荐下我本身建的Python开发学习群:304050799,群里都是学Python
开发的,若是你正在学习Python ,小编欢迎你加入,你们都是软件开发党,不定
期分享干货(只有Python软件开发相关的),包括我本身整理的一份2018最新的
Python进阶资料和高级开发教程,欢迎进阶中和进想深刻Python的小伙伴微信
第一步:选取爬取的分类函数
第二步:开始爬取(默认保存C:sex, )学习
1、导包网站
2、定义全局变量url
网址我和谐了,怕带坏大家。As we know,这些网站的域名一直变可是网站结构通常不会变化,因此往后变化就改动一下url变量就行。spa
3、总共八个核心处理函数3d
一、假装报头访问函数blog
二、菜单,捕获输入函数
三、爬虫调度器函数
四、加载页面函数
五、加载图片
六、生成文件夹
默认c:/sex/
八、main
4、程序运行效果
所有是7个分类,使用多进程,保存了多少个分类就自动开多少个进程。输入目录对应编号就能够了,输入0时则结束输入,开始爬取
(每次运行前,若是旧的c:/sex/没删除,则应先手动删除)写的有点仓促,之后有时间会完善这个程序。
来来来,完整代码:
更多编程分享请关注微信公众号:程序员大牛!