爬虫的分层结构
抓取层
- 主要做用是获取原始网页的HTML数据或者JSON数据
调度层
- 负责准备即将爬取的URL与分配爬取任务
解析层
- 将原始数据解析为结构化数据，保存至数据库
存储层
- 负责将数据保存到数据库
相关文章
- 1. 爬虫总结(四)-- 分布式爬虫
- 2. 爬虫基本结构
- 3. 【爬虫】分布式爬虫
- 4. 爬虫 - 分布式爬虫
- 5. 爬虫scrapy的结构理解
- 6. 爬虫架构
- 7. 爬虫学习01 什么是爬虫 爬虫的分类
- 8. 爬虫总结
- 9. 分层结构的好处
- 10. OSI分层结构
- 更多相关文章...
- • Rust 结构体 - RUST 教程
- • XML 树结构 - XML 教程
- • 算法总结-二分查找法
- • 常用的分布式事务解决方案
相关标签/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
最新文章
欢迎关注本站公众号,获取更多信息
相关文章
- 1. 爬虫总结(四)-- 分布式爬虫
- 2. 爬虫基本结构
- 3. 【爬虫】分布式爬虫
- 4. 爬虫 - 分布式爬虫
- 5. 爬虫scrapy的结构理解
- 6. 爬虫架构
- 7. 爬虫学习01 什么是爬虫 爬虫的分类
- 8. 爬虫总结
- 9. 分层结构的好处
- 10. OSI分层结构