Python使用又拍云进行第三方文件拉取

在爬虫过程当中,须要将图片或其余文件进行存储到云上,但在下载图片时,看官方文档,貌似须要先下载到后再上传又拍云,感受效率很低下。经查找资料实现Python直接对第三方资源进行文件拉取操做,即不须要下载到本地,代码以下:python

 

import upyun
up = upyun.UpYun('xxxxx', 'xxxxx', 'xxxxx')  # 您又拍云登陆信息
img_url = 'https://desk-fd.zol-img.com.cn/t_s1144x1190c5/g5/M00/04/0C/ChMkJlYzFaeIX4_zAAP4WqNwUMMAAESqgI3OA8AA_hy369.jpg'  # 须要拉取的url
notify_url = 'http://httpbin.org/post' # 回调地址
fetch_tasks = [
{
'url': img_url, # 须要拉取文件的 URL
'random': False, # 是否追加随机数, 默认 false
'overwrite': True, # 是否覆盖,默认 true
'save_as': '/text/0.jpg', # 保存路径
}
]

print up.put_tasks(fetch_tasks, notify_url, 'spiderman')
上传成功后会返回 [u'a319f9d4abc629001']], 表示上传成功
注意:
fetch_tasks 内能够多条进行上传,经过[{},{},{}]的方式
而后在您的浏览器输入: 您又拍云的http地址 + save_as 的保存地址 进行测试查看是否上传成功

参考GitHub文档:https://github.com/upyun/python-sdk
参考upyun官方文档:http://docs.upyun.com/cloud/spider/
相关文章
相关标签/搜索