教程+资源,python scrapy实战爬取知乎最性感妹子的爆照合集(12G)!

一.出发点：

以前在知乎看到一位大牛（二胖）写的一篇文章：python爬取知乎最受欢迎的妹子（大概题目是这个，具体记不清了），可是这位二胖哥没有给出源码，而我也没用过python,正好顺便学一学,因此我决定本身动手搞一搞.
爬取已经完成,文末有 python的源码和妹子图片的百度云地址

二.准备：

爬虫仍是要用python(以前用过一个国人大牛写的java爬虫框架 webmagic)，因此花了点时间看了下网上python的教程，语法什么的（固然什么都没记住~），而后看了看scrapy这个爬虫框架，大概了解了其中各个组件的做用,每一个组件的做用和爬取数据的几个步骤.

三.思路分析:

知乎二胖哥的思路大体以下：

• 1 手动找到部分宅男, 抓取他们关注的女性用户 和 部分问题的女性回答者
  做为 "初始美女"群体
• 2 抓取 "初始美女" 全部的粉丝, 做为 "宅男群体"
• 3 再抓取 "宅男群体" 关注的人里面取top 1000, 获得知乎最受欢迎的美女.
  我和二胖哥的目的有所不一样,
  二胖是要找到最受欢迎的妹子,
  而个人目的是:
• 1 学习使用python 的 scrapy框架
• 2 爬取精彩又性感的文章和图片.
  因此我经过两个方面开始爬取:
• 某些女生回答的多的问题, 好比: 拥有大长腿是怎样的感受?
• 收藏夹. 知乎有收藏夹功能,把不一样问题下的答案放到一个收藏加下.我关注了一个叫作知乎妹子爆照合集的收藏夹
  我大概爬取了12G的图片资源(由于个人服务器只有12G的剩余空间了...)

我存储图片的目录是按照 问题id/回答id的格式存放的.

四.收藏夹里的问题不少,大体目录以下:



五.手动指定了几个问题以下:

指定的问题:
基本上这些问题都是妹子爆照多的话题,有很多妹子照片.

目录结构:


六.成果展现:







七.爬取方法介绍:

爬取网页(知乎)信息大概分为如下几个步骤:

• 肯定爬取的初始页面(url地址)
• 肯定要爬取哪些内容,使用xpath获取爬取内容的html文档路径获取内容.(或者可以从页面找到ajax调用后台的接口,去调接口拿到数据,通常返回的json格式,比使用xpath方便.)
• 爬取到内容的处理, 存数据库(mysql,mongo,等),落地到文件,等~

八.爬取教程分享

python scrapy爬虫框架概念介绍(我的理解总结为一张图)
python scrapy 登陆知乎过程
使用python scrapy爬取知乎提问信息
python scrapy爬取知乎问题和收藏夹下全部答案的内容和图片

九.福利分享

若是有同窗对python的爬虫代码和妹子图片感兴趣，
我已上传，关注微信公众号：程序员灯塔 (code12306)
回复 '知乎源码',获取python源码
回复 '知乎美女',获取12G图片资源的百度网盘地址.
程序员灯塔,关注互联网+大数据技术. 分享面试攻略+技术干货!

转自： 教程+资源 python scrapy 实战爬取知乎最性感妹子