python爬虫基础知识的总结

什么是爬虫？ 1、爬虫概述 简单来讲，爬虫就是获取网页并提取和保存信息的自动化程序。 1.获取页面（如urllib、requests等） 2.提取信息（Beautiful Soup、pyquery、lxml等） 3.保存数据（MySQL、MongoDB等） 4.自动化程序 2、关于JS渲染的页面？ 1.使用urllib、requests 等库请求当前页面时，只是获得html代码，它不会帮

>>阅读原文<<