Python爬虫(urllib.request和BeautifulSoup)

学习urllib.request和beautifulsoup,并从dribbble和behance上爬取了一些图片,记录一下 一、urllib.request 1. url的构造 构造请求的url遇到的主要问题是如何翻页的问题,dribbble网站是下拉到底自动加载下一页,地址栏的url没有变化,如下: 但是通过检查,我们可以发现request url里关于page的字段,如下: 因此,我们构造如
相关文章
相关标签/搜索