python爬虫实例介绍-Python网络爬虫概述

本文对Python网络爬虫做一个浅层次的概述，不涉及很细节的代码、很底层的原理 简单爬虫架构 对应使用方便理解的语言描述该逻辑如下： 爬虫调度端：启动爬虫、停止爬虫、监视爬虫的运行情况 URL管理器：对将要爬取和已经爬取的URL进行管理 网页下载器： 从URL管理器中获取一个将要爬取的URL，传给网页下载器 下载器将URL指向的网页下载并存储为一个字符串 网页解析器： 将网页下载器下载下来的字符串

>>阅读原文<<