python爬虫爬取

Python爬虫 针对python爬虫这块,最近写了有大大小小三个项目,遇到几个难点,下篇总结出来,这里先写下我总结的爬虫爬取步骤. 静态文件: 针对静态文件的爬取,列如图片之类的,一般网站都保存在CDN上,需要先从网页上获取图片地址就好了,需要注意下保存的格式,有可能会导致图片无法打开的问题(一般保存为png格式内容). 数据: 爬虫解决打就是数据源的问题,是数据处理,数据分析之类的先行问题.所

>>阅读原文<<