web视频基础教程

前言

提到网页播放视频，大部分前端首先想到的确定是:

<video width="600" controls>
  <source src="demo.mp4" type="video/mp4">
  <source src="demo.ogg" type="video/ogg">
  <source src="demo.webm" type="video/webm">
  您的浏览器不支持 video 标签。
</video>

的确，一个简单的video标签就能够轻松实现视频播放功能

可是，当视频的文件很大时，使用video的播放效果就不是很理想:

1. 播放不流畅(尤为在：首次初始化视频 场景时卡顿很是明显)
2. 浪费带宽，若是用户仅仅观看了一个视频的前几秒，可能已经被提早下载了几十兆流量了。即浪费了用户的流量，也浪费了服务器的昂贵带宽

理想状态下，咱们但愿的播放效果是：

1. 边播放，边下载(渐进式下载)，无需一次性下载视频(流媒体)
2. 视频码率的无缝切换(DASH)
3. 隐藏真实的视频访问地址，防止盗链和下载(Object URL)

在这种状况下，普通的video标签就没法知足需求了

206 状态码

<video width="600" controls>
  <source src="demo.mp4" type="video/mp4">
</video>

咱们播放demo.mp4视频时，浏览器其实已经作过了部分优化，并不会等待视频所有下载完成后才开始播放，而是先请求部分数据

咱们在请求头添加

Range: bytes=3145728-4194303

表示须要文件的第3145728字节到第4194303字节区间的数据

后端响应头返回

Content-Length: 1048576
Content-Range: bytes 3145728-4194303/25641810

Content-Range表示返回了文件的第3145728字节到第4194303字节区间的数据，请求文件的总大小是25641810字节
Content-Length表示此次请求返回了1048576字节(4194303 - 3145728 + 1)

断点续传和本文接下来将要介绍的视频分段下载，就须要使用这个状态码

Object URL

咱们先来看看市面上各大视频网站是如何播放视频?

哔哩哔哩:

腾讯视频:

爱奇艺:

能够看到，上述网站的video标签指向的都是一个以blob开头的地址: blob:https://www.bilibili.com/0159a831-92c9-43d1-8979-fe42b40b0735，该地址有几个特色:

1. 格式固定: blob:当前网站域名/一串字符
2. 没法直接在浏览器地址栏访问
3. 即便是同一个视频，每次新打开页面，生成的地址都不一样

其实，这个地址是经过URL.createObjectURL生成的Object URL

const obj = {name: 'deepred'};
const blob = new Blob([JSON.stringify(obj)], {type : 'application/json'});
const objectURL = URL.createObjectURL(blob);

console.log(objectURL); // blob:https://anata.me/06624c66-be01-4ec5-a351-84d716eca7c0

createObjectURL接受一个File，Blob或者MediaSource对象做为参数，返回的ObjectURL就是这个对象的引用

Blob

Blob是一个由不可改变的原始数据组成的相似文件的对象；它们能够做为文本或二进制数据来读取，或者转换成一个ReadableStream以便用来用来处理数据

咱们经常使用的File对象就是继承并拓展了Blob对象的能力

<input id="upload" type="file" />

const upload = document.querySelector("#upload");
const file = upload.files[0];

file instanceof File; // true
file instanceof Blob; // true
File.prototype instanceof Blob; // true

咱们也能够建立一个自定义的blob对象

const obj = {hello: 'world'};
const blob = new Blob([JSON.stringify(obj, null, 2)], {type : 'application/json'});

blob.size; // 属性
blob.text().then(res => console.log(res)) // 方法

Object URL的应用

<input id="upload" type="file" />
<img id="preview" alt="预览" />

const upload = document.getElementById('upload');
const preview = document.getElementById("preview");

upload.addEventListener('change', () => {
  const file = upload.files[0];
  const src = URL.createObjectURL(file);
  preview.src = src;
});

createObjectURL返回的Object URL直接经过img进行加载，便可实现前端的图片预览功能

同理，若是咱们用video加载Object URL，是否是就能播放视频了？

index.html

<video controls width="800"></video>

demo.js

function fetchVideo(url) {
  return new Promise((resolve, reject) => {
    const xhr = new XMLHttpRequest();
    xhr.open('GET', url);
    xhr.responseType = 'blob'; // 文件类型设置成blob
    xhr.onload = function() {
      resolve(xhr.response);
    };
    xhr.onerror = function () {
      reject(xhr);
    };
    xhr.send();
  })
}

async function init() {
  const res = await fetchVideo('./demo.mp4');
  const url = URL.createObjectURL(res);
  document.querySelector('video').src = url;
}

init();

文件目录以下:

├── demo.mp4
├── index.html
├── demo.js

使用http-server简单启动一个静态服务器

npm i http-server -g

http-server -p 4444 -c-1

访问http://127.0.0.1:4444/,video标签的确可以正常播放视频，但咱们使用ajax异步请求了所有的视频数据，这和直接使用video加载原始视频相比，并没有优点

Media Source Extensions

结合前面介绍的206状态码，咱们能不能经过ajax请求部分的视频片断(segments)，先缓冲到video标签里，而后当视频即将播放结束前，继续下载部分视频，实现分段播放呢？

答案固然是确定的，可是咱们不能直接使用video加载原始分片数据，而是要经过 MediaSource API

须要注意的是，普通的mp4格式文件，是没法经过MediaSource进行加载的，须要咱们使用一些转码工具，将普通的mp4转换成fmp4(Fragmented MP4)。为了简单演示，咱们这里不使用实时转码，而是直接经过MP4Box工具，直接将一个完整的mp4转换成fmp4

#### 每4s分割1段
mp4box -dash 4000 demo.mp4

运行命令，会生成一个demo_dashinit.mp4视频文件和一个demo_dash.mpd配置文件。其中demo_dashinit.mp4就是被转码后的文件，此次咱们可使用MediaSource进行加载了

文件目录以下:

├── demo.mp4
├── demo_dashinit.mp4
├── demo_dash.mpd
├── index.html
├── demo.js

index.html

<video width="600" controls></video>

demo.js

class Demo {
  constructor() {
    this.video = document.querySelector('video');
    this.baseUrl = '/demo_dashinit.mp4';
    this.mimeCodec = 'video/mp4; codecs="avc1.42E01E, mp4a.40.2"';

    this.mediaSource = null;
    this.sourceBuffer = null;

    this.init();
  }

  init = () => {
    if ('MediaSource' in window && MediaSource.isTypeSupported(this.mimeCodec)) {
      const mediaSource = new MediaSource();
      this.video.src = URL.createObjectURL(mediaSource); // 返回object url
      this.mediaSource = mediaSource;
      mediaSource.addEventListener('sourceopen', this.sourceOpen); // 监听sourceopen事件
    } else {
      console.error('不支持MediaSource');
    }
  }

  sourceOpen = async () => {
    const sourceBuffer = this.mediaSource.addSourceBuffer(this.mimeCodec); // 返回sourceBuffer
    this.sourceBuffer = sourceBuffer;
    const start = 0;
    const end = 1024 * 1024 * 5 - 1; // 加载视频开头的5M数据。若是你的视频文件很大，5M也许没法启动视频，能够适当改大点
    const range = `${start}-${end}`;
    const initData = await this.fetchVideo(range);
    this.sourceBuffer.appendBuffer(initData);

    this.sourceBuffer.addEventListener('updateend', this.updateFunct, false);
  }

  updateFunct = () => {
    
  }

  fetchVideo = (range) => {
    const url = this.baseUrl;
    return new Promise((resolve, reject) => {
      const xhr = new XMLHttpRequest();
      xhr.open('GET', url);
      xhr.setRequestHeader("Range", "bytes=" + range); // 添加Range头
      xhr.responseType = 'arraybuffer';

      xhr.onload = function (e) {
        if (xhr.status >= 200 && xhr.status < 300) {
          return resolve(xhr.response);
        }
        return reject(xhr);
      };

      xhr.onerror = function () {
        reject(xhr);
      };
      xhr.send();
    })
  }
}

const demo = new Demo()

实现原理：

1. 经过请求头Range拉取数据
2. 将数据喂给sourceBuffer，MediaSource对数据进行解码处理
3. 经过video进行播放

咱们此次只请求了视频的前5M数据，能够看到，视频可以成功播放几秒，而后画面就卡住了。

接下来咱们要作的就是，监听视频的播放时间，若是缓冲数据即将不够时，就继续下载下一个5M数据

const isTimeEnough = () => {
  // 当前缓冲数据是否足够播放
  for (let i = 0; i < this.video.buffered.length; i++) {
    const bufferend = this.video.buffered.end(i);
    if (this.video.currentTime < bufferend && bufferend - this.video.currentTime >= 3) // 提早3s下载视频
      return true
  }
  return false
}

固然咱们还有不少问题须要考虑，例如:

1. 每次请求分段数据时，如何更新Range的请求范围
2. 初次请求数据时，如何确保video有足够的数据可以播放视频
3. 兼容性问题
4. 更多细节。。。。

详细分段下载过程，见完整代码

流媒体协议

视频服务通常分为：

1. 点播
2. 直播

不一样的服务，选择的流媒体协议也各不相同。主流的协议有: RTMP、HTTP-FLV、HLS、DASH、webRTC等等，详见《流媒体协议的认识》

咱们以前的示例，其实就是使用的DASH协议进行的点播服务。还记得当初使用mp4box生成的demo_dash.mpd文件吗？mpd(Media Presentation Description)文件就存储了fmp4文件的各类信息，包括视频大小，分辨率，分段视频的码率。。。

哔哩哔哩网站就是采用的DASH协议

HLS协议的m3u8索引文件就相似DASH的mpd描述文件

协议	索引文件	传输格式
DASH	mpd	m4s
HLS	m3u8	ts

开源库

咱们以前使用原生Media Source手写的加载过程，其实市面上已经有了成熟的开源库能够拿来即用，例如:http-streaming，hls.js，flv.js。同时搭配一些解码转码库，也能够很方便的在浏览器端进行文件的实时转码，例如mp4box.js，ffmpeg.js

总结

本文简单介绍了 Media Source Extensions 实现视频渐进式播放的原理，涉及到基础的点播直播相关知识。因为音视频技术涉及的内容不少，加上本人水平的限制，因此只能帮助你们初步入个门而已

参考

• 为何视频网站的视频连接地址是blob？
• 从天猫某活动视频没必要要的3次请求提及
• 咱们为何使用DASH
• 使用 MediaSource 搭建流式播放器
• Web 视频播放的那些事儿
• Building a simple MPEG-DASH streaming player
• 前端视频直播技术总结及video.js在h5页面中的应用
• 流媒体协议的认识
• 让html5视频支持分段渐进式下载的播放