爬虫技术栈

一个好的爬虫工程师须要了解各类IT技术，由于不一样的网页结构不一样，使用的技术不一样，爬取要求不一样，因此写爬虫就要熟悉各类网络开发相关的技术。如下是爬虫涉及的一些技术要点。css 1. 前端相关：包括html结构，js，ajax请求过程，css，h5，cookie，sessionhtml 2. 网络相关：request和response流程，http知识，代理proxy的使用前端 3. 存储相关

>>阅读原文<<