python爬虫之Beautifulsoup和Scrapy框架的协同工做

最近在开始作关于百度贴吧爬虫时，遇到了xpath解析贴吧网页死活解析不出来的状况，试了火狐和Chrome浏览器都是这样，愤怒之下选择了使用BeautifulSoup框架，（百度出来的，我是个初学者），折腾了半天总算解析出来一些指望的数据，贴上一些我的遇到的坑和总结的经验：python # -*- coding: utf-8 -*- import scrapy from bs4 import Bea

>>阅读原文<<