网页爬虫系统 设计和实现

爬虫爬取什么内容？相亲类网站的数据 爬虫算法：城市列表 --城市--用户信息，从种子页面开始爬取页面 爬虫的实现步骤：单机版 -- 并发版--分布式版 分布式版本，模块和模块之间通过网络来传输数据   一、单机版步骤 1.获取初始页面的内容 解析gdb和utf-8的编码 gopm的安装，使用第三方库 2.内容匹配方式的选择（正则表达式） css选择器 xpath 正则表达式，本课程选择正则表达式，

>>阅读原文<<