python爬虫---爬取图片学习

https://www.cnblogs.com/Albert-Lee/p/6230337.html

 

 

 

import  requests#导入requests模块
from bs4 import BeautifulSoup#导入BeautifulSoup
import os
import time
class BeautifulPicture():
    def __init__(self):
        word=input("请输入你想要爬取图片关键字:")
        self.headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}  #给请求指定一个请求头来模拟chrome浏览器
        self.web_url="https://unsplash.com/search/photos/"+word
        self.folder_path="D:\BeautifulPicture"#设置存储路径
    def request(self,url):#返回网页的response
        r=requests.get(url)
        return r
    def mkdir(self,path):
        path=path.strip()
        isExists=os.path.exists(path)
        if not isExists:
            print('建立文件夹:',path)
            os.makedirs(path)
            print("建立成功")
        else:
            print(path,"文件夹已经存在,不须要建立")
    #保存图片
    def save_img(self,url,name):
        print("开始保存图片")
        img=self.request(url)
        time.sleep(5)
        file_name=name+".jpg"
        print("开始保存文件")
        f=open(file_name,'ab')
        f.write(img.content)
        print(file_name,'文件保存成功')
        f.close()
#逻辑部分开始
    def get_pic(self):
        
        print("开始网页请求")
        r=self.request(self.web_url)
        print("开始获取全部的img标签")
        all_a=BeautifulSoup(r.text,'lxml').find_all('img',class_='_2zEKz')
        print("开始建立文件夹")
        self.mkdir(self.folder_path)
        print("开始切换文件夹")
        os.chdir(self.folder_path)#切换路径至上面建立的文件夹
        i=1
        for a in all_a:
            img_src=a['src']
            self.save_img(img_src,str(i))
            i+=1
beauty=BeautifulPicture()
beauty.get_pic()