一张图
了解 爬虫程序 与 反爬虫 之间的关系:
在 我的Python学习专栏 中,了解了 爬虫基础 :
- chrome网页解析方法
- requests模拟访问网页
- re正则表达式筛选关键词
- bs4框架等
其中也了解了部分反爬基础:
- 模拟网页登录而不是Python访问网
(网页访问是基于每个浏览器不同,有不同的request-header,如果是Python访问则没有)
- 其次,深入一点是cookie
(这是加密网站给每次密码登录用户的一个辨别身份的代号,随登陆时网站刷新而刷新)
- base4加密算法(登录名+密码)
- 简单验证码处理
- more(学习中~)