使用Python爬取多篇各类新闻文章

一、简介 这篇文章主要是使用python中的requests和BeautifulSoup库来爬取上万篇的新闻文章。我这里以科技类新闻为例来爬取2000篇新闻文章http://news.chinairn.com/News/moref9fff1.html 二、爬取网页源代码 在python中爬取网页源代码的库主要有urllib、requests，其中requests使用得比较多，另外说明下urllib

>>阅读原文<<