一文搞定scrapy爬取众多知名技术博客文章保存到本地数据库，包含：cnblog、csdn、51cto、itpub、jobbole、oschina等...

本文旨在经过爬取一系列博客网站技术文章的实践，介绍一下scrapy这个python语言中强大的整站爬虫框架的使用。各位童鞋可不要用来干坏事哦，这些技术博客平台也是为了让咱们你们更方便的交流、学习、提升的，你们千万要珍惜哦(-_-)。html 本文目录： 0、开发环境 一、目标介绍 二、爬取目标 2.一、csdn博客 2.1.1 如何判断是否为Ajax方式异步获取的？ 2.1.2 爬虫实现 2.1.

>>阅读原文<<