设计一个网页爬虫

一、需求沟通 1、用例 需求说明： 1. 百度这个网站，通过一系列的url链接，然后去爬取一系列的网站上的数据，生成标题和摘要信息存下来。 2. 用户通过在百度搜索框内输入搜索词之后，可以看到相关的搜索结果列表。这些列表显示的就是之前爬取到的页面标题和摘要。 2、算数   二、答案 1、概要设计 2、扩展设计 3、关键点总结 1. 爬虫的部分是不对用户的，所以说，不能连到web server下面，

>>阅读原文<<