只要网速够快，小视频看完一个删一个，任性！Python爬取小视频

 

 

前言

yy平台，直播界的先驱，有不少主播会把一些本身的直播精彩看点上传到该平台下的小视频栏目中

今天带你们爬取yy小视频栏目中全部的小视频

课程知识点：

一、动态数据抓包演示

二、json数据解析方法

三、视频数据保存

环境介绍：

python 3.6

pycharm

requests

爬虫的通常思路：

一、分析目标网页,肯定爬取的url路径，headers参数

 

二、发送请求 -- requests 模拟浏览器发送请求，获取响应数据

三、解析数据

四、保存数据

导入工具

import requests
import re
import pprint

 

分析目标网页,肯定爬取的url路径，headers参数

url地址：

 

参数

 

url = 'https://api-tinyvideo-web.yy.com/home/tinyvideos?'
headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.117 Safari/537.36',
}

param = {
    'data': '{"uid":0,"page":1,"pageSize":10}',
}

 

 

发送请求 -- requests 模拟浏览器发送请求，获取响应数据

 

 

response = requests.get(url=url, headers=headers, params=param)
data = response.json()
# print(data)

 

解析数据

 

# 提取字段
data_list = data['data']['data']

# 循环遍历
for data1 in data_list:
    resdesc = data1['resdesc'] + '.mp4'  # 视频的题目
    resurl = data1['resurl']  # 视频的url地址
    # print(resdesc, resurl)

    # new_title = change_title(resdesc)

    video_data = requests.get(resurl, headers=headers).content

 

保存数据

 

with open('video\\' + resdesc, mode='wb') as f:
        print('正在下载：', resdesc)
        f.write(video_data)

 

运行代码，效果以下：

 

无论你是零基础仍是有基础均可以获取到本身相对应的学习礼包！包括Python软件工具和2020最新入门到实战教程。加群695185429便可免费获取。