爬虫小记--抓取过程简要分析

     前段时间做一个产品。盈利方式也就是卖数据给用户，用wpf包装一下，当然数据提供方是由公司定向爬虫採集的。尽管在实际工作 中没有接触这一块。只是私下能够玩一玩，研究研究。     既然要抓取网页的内容。肯定我们会有一个startUrl，通过这个startUrl就能够用广度优先的方式遍历整个网站，就如我们学习数据结 构中图的遍历一样。 既然有“请求网页”和“解析网页”两部分，在代码实现上。我

>>阅读原文<<