android音视频点/直播模块开发

时间 2019-11-10

原文原文链接

前言

随着音视频领域的火热，在不少领域（教育，游戏，娱乐，体育，跑步，餐饮，音乐等）尝试作音视频直播/点播功能，那么做为开发一个小白，如何快速学习音视频基础知识，了解音视频编解码的传输协议，编解码方式，以及如何技术选型，如何解决遇到的坑，本文抛砖引玉，欢迎大咖交流。html

一. 音视频的基础知识

1.1 基本概念

视频是什么java

静止的画面叫图像（picture）。连续的图像变化每秒超过24帧（frame）画面以上时，根椐视觉暂留原理，
人眼没法辨别每付单独的静态画面，看上去是平滑连续的视觉效果。这样的连续画面叫视频。
当连续图像变化每秒低于24帧画面时，人眼有不连续的感受叫动画（cartoon）

流媒体android

指采用流式传输的方式在Internet / Intranet播放的媒体格式.流媒体的数据流随时传送随 时播放，只是在开始时有些延迟
边下载边播入的流式传输方式不只使启动延时大幅度地缩短，并且对系统缓存容量的需求也大大下降，极大地减小用户用在等待的时间

分辨率ios

分辨率是一个表示平面图像精细程度的概念，一般它是以横向和纵向点的数量来衡量的，表示成水平点数垂直点数的形式，
在计算机显示领域咱们也表示成“每英寸像素”（ppi）.在一个固定的平面内，分辨率越高，意味着可以使用的点数越多，图像越细致

码流git

数据传输时单位时间传送的数据位数,能够理解其为取样率，单位时间内取样率越大，精度就越高，处理出来的文件就越接近原始文件，可是文件体积与取样率是成正比的
 如何用最低的码率达到最少的失真，通常咱们用的单位是kbps即千位每秒

帧率github

帧/秒（frames per second）的缩写，也称为帧速率，测量用于保存、显示动态视频的信息数量。每一帧都是静止的图象，快速连续地显示帧便造成了运动的假象。
每秒钟帧数 （fps） 愈多，所显示的动做就会愈流畅，可理解为1秒钟时间里刷新的图片的帧数，也能够理解为图形处理器每秒钟可以刷新几回，也就是指每秒钟可以播放（或者录制）多少格画面。

1.2 多媒体的格式分类

封装格式(专业上讲叫容器,通俗的叫文件格式),视频编解码,音频编解码
####1.1常见的封装格式
* MPEG : 编码采用的容器，具备流的特性。里面又分为 PS，TS 等，PS 主要用于 DVD 存储，TS 主要用于 HDTV.
* MPEG Audio Layer 3 :大名鼎鼎的 MP3，已经成为网络音频的主流格式，能在 128kbps 的码率接近 CD 音质
* MPEG-4(Mp4) : 编码采用的容器，基于 QuickTime MOV 开发，具备许多先进特性;其实是对Apple公司开发的MOV格式(也称Quicktime格式)的一种改进.
* MKV: 它能把 Windows Media Video，RealVideo，MPEG-4 等视频音频融为一个文件，并且支持多音轨，支持章节字幕等;开源的容器格式
* 3GP : 3GPP视频采用的格式， 主要用于流媒体传送;3GP实际上是MP4格式的一种简化版本,是手机视频格式的绝对主流.
* MOV : QuickTime 的容器，恐怕也是现今最强大的容器，甚至支持虚拟现实技术，Java等，它的变种 MP4,3GP都没有这么厉害;普遍应用于Mac OS操做系统，在Windows操做系统上也可兼容，可是远比不上AVI格式流行
* AVI : 最多见的音频视频容器,音频视频交错（Audio Video Interleaved）容许视频和音频交错在一块儿同步播放.
* WAV : 一种音频容器，你们常说的 WAV 就是没有压缩的 PCM 编码，其实 WAV 里面还能够包括 MP3 等其余 ACM 压缩编码
等等

1.3 流媒体协议(RTP RTCP RTSP RTMP HLS)

RTP RTCP RTSP

RTP :(Real-time Transport Protocol)是用于Internet上针对多媒体数据流的一种传输层协议.RTP协议和RTP控制协议RTCP一块儿使用，并且它是创建在UDP协议上的
RTCP:Real-time Transport Control Protocol或RTP Control Protocol或简写RTCP）实时传输控制协议,是实时传输协议（RTP）的一个姐妹协议
RTP协议和RTP控制协议RTCP一块儿使用，并且它是创建在UDP协议上的
RTSP:（Real Time Streaming Protocol）是用来控制声音或影像的多媒体串流协议,RTSP提供了一个可扩展框架，使实时数据，如音频与视频的受控、点播成为可能。
数据源包括现场数据与存储在剪辑中的数据。该协议目的在于控制多个数据发送链接，为选择发送通道，如UDP、多播UDP与TCP提供途径，并为选择基于RTP上发送机制提供方法
传输时所用的网络通信协定并不在其定义的范围内，服务器端能够自行选择使用TCP或UDP来传送串流内容，比较能容忍网络延迟

RTP不像http和ftp可完整的下载整个影视文件，它是以固定的数据率在网络上发送数据，客户端也是按照这种速度观看影视文件，当影视画面播放事后，就不能够再重复播放，除非从新向服务器端要求数据。
RTSP与RTP最大的区别在于：RTSP是一种双向实时数据传输协议，它容许客户端向服务器端发送请求，如回放、快进、倒退等操做。固然，RTSP可基于RTP来传送数据，还能够选择TCP、UDP、组播UDP等通道来发送数据，具备很好的扩展性。它时一种相似与http协议的网络应用层协议

RTMPweb

RTMP(Real Time Messaging Protocol)实时消息传送协议是Adobe Systems公司为Flash播放器和服务器之间音频、视频和数据传输 开发的开放协议

HLS算法

HTTP Live Streaming（HLS）是苹果公司(Apple Inc.)实现的基于HTTP的流媒体传输协议，可实现流媒体的直播和点播，主要应用在iOS系统，
为iOS设备（如iPhone、iPad）提供音视频直播和点播方案。HLS点播，基本上就是常见的分段HTTP点播，不一样在于，它的分段很是小。
相对于常见的流媒体直播协议，例如RTMP协议、RTSP协议、MMS协议等，HLS直播最大的不一样在于，直播客户端获取到的，并非一个完整的数据流。
HLS协议在服务器端将直播数据流存储为连续的、很短时长的媒体文件（MPEG-TS格式），而客户端则不断的下载并播放这些小文件，
由于服务器端老是会将最新的直播数据生成新的小文件，这样客户端只要不停的按顺序播放从服务器获取到的文件，就实现了直播。
因而可知，基本上能够认为，HLS是以点播的技术方式来实现直播。因为数据经过HTTP协议传输，因此彻底不用考虑防火墙或者代理的问题，
并且分段文件的时长很短，客户端能够很快的选择和切换码率，以适应不一样带宽条件下的播放。不过HLS的这种技术特色，决定了它的延迟通常老是会高于普通的流媒体直播协议。

二. android音视频的开发

播放流程: 获取流-->解码-->播放
录制播放路程: 录制音频视频-->剪辑-->编码-->上传服务器别人播放.
直播过程 : 录制音视频-->编码-->流媒体传输-->服务器--->流媒体传输到其余app-->解码-->播放缓存

几个重要的环节bash

录制音视频 AudioRecord/MediaRecord
视频剪辑 mp4parser 或ffmpeg
音视频编码 aac&h264
上传大文件网络框架,进度监听,断点续传
流媒体传输流媒体传输协议rtmp rtsp hls
音视频解码 aac&h264
渲染播放 MediaPlayer

问题
android自己有提供MediaPlayer,那么mediaplayer支持哪些格式的流媒体协议呐?又支持哪些解码器呐?兼容性如何,性功能如何?
Supported Media Formats
Media Playback

MPEG－2：制定于1994年，设计目标为高级工业标准的图像质量以及更高的传输率。这种格式主要应用在DVD/SVCD的制做(压缩)方面，
同时在一些HDTV(高清晰电视广播)和一些高要求视频编辑、处理上面也有至关的应用。使用MPEG-2的压缩算法，能够把一部120分钟长的电影压缩到4到8GB的大小。
这种视频格式的文件扩展名包括.mpg、.mpe、.mpeg、.m2v及DVD光盘上的.vob文件等。
MPEG－4：制定于1998年，MPEG－4是为了播放流式媒体的高质量视频而专门设计的，它可利用很窄的带宽，经过帧重建技术，
压缩和传输数据，以求使用最少的数据得到最佳的图像质量。目前MPEG-4最有吸引力的地方在于它可以保存接近于DVD画质的
小体积视频文件。另外，这种文件格式还包含了之前MPEG压缩标准所不具有的比特率的可伸缩性、动画精灵、交互性甚至版权
保护等一些特殊功能。这种视频格式的文件扩展名包括.asf、.mov和DivX AVI等。

从上图咱们也看到,android平台自身支持的音视频解码是有限的通常的mp3 mp4....3gp 等等其余的只能本身解码了。。。
那么如何解码呐?
通过一番调研对比,选择乐ijkplayer.

三. ijkplayer的引入&介绍&使用

正如上文所说,android本事对音视频流媒体传输协议,以及音视频编解码支持有限.因此对于直播类应用,要本身解码

3.1 调研过程

vitamio
webRTC
ffmpeg
vlc
ijkplayer

先说下 vitamio这个是功能很强大,可是企业收费版的,我的用户能够玩玩.
目前WebRtc只适合小范围（8人之内）音视频会议，不适合作直播能够用WebRTC来作视频直播吗？
接下来介绍下 ffmpeg vlc ijkplayer以及选择方案

ffmpeg是一个很是强大的音视频编解码开源库,目前市场上流行的播放器,大部分都是基于此开发的,包括暴风,腾讯,等等以及上面提到的vitamio,vlc,ijkplayer
关于ffmpeg源码分析,有兴趣的请看雷霄骅(leixiaohua1020)的专栏

vlc 支持android开发 ,ijkplayer也支持. 经过反编译网易云音乐,以及YY等音视频app.发现网易云音乐,斗鱼用的ijkplayer,YY用的VLC.
那么vlc&ijkplayer相比较各有什么优缺点呐,该如何选择呐?[待深刻使用,或者用过的能够交流下]
其实这个没有深刻分析,ijkplayer是bilibili开源的音视频编解码库,对android,ios进行和很好的抽取封装,易于编译使用.vlc尝试过,稍微复杂些.

3.2 ijkplayer的导入&编译&使用

若是不须要对源码进行修改,在app的build.gradle中加入以下依赖便可

dependencies {
    # required, enough for most devices.
    compile 'tv.danmaku.ijk.media:ijkplayer-java:0.4.5.1'
    compile 'tv.danmaku.ijk.media:ijkplayer-armv7a:0.4.5.1'

    # Other ABIs: optional
    compile 'tv.danmaku.ijk.media:ijkplayer-armv5:0.4.5.1'
    compile 'tv.danmaku.ijk.media:ijkplayer-arm64:0.4.5.1'
    compile 'tv.danmaku.ijk.media:ijkplayer-x86:0.4.5.1'

    # ExoPlayer as IMediaPlayer: optional, experimental
    compile 'tv.danmaku.ijk.media:ijkplayer-exo:0.4.5.1'
}

固然如何你想对其源码进行修改,采用以下方式

须要
下载配置 NDK r10e
配置androidsdk
add these lines to your ~/.bash_profile or ~/.profile

export ANDROID_SDK=<your sdk path>

export ANDROID_NDK=<your ndk path>
2.
```
Build Android

git clone https://github.com/Bilibili/ijkplayer.git ijkplayer-android
cd ijkplayer-android
git checkout -B latest k0.4.5.1

./init-android.sh //此步用于下载ffmpeg,初始化配置

cd android/contrib
./compile-ffmpeg.sh clean
./compile-ffmpeg.sh all

cd ..
./compile-ijk.sh all

而后经过androidstudio把生成的project导入工程

Android Studio:

Open an existing Android Studio project

Select android/ijkplayer/ and import

能够根据须要对音视频编解码库进行裁剪.编译出最小的知足须要的库
bilibili提供三种裁剪方式
If you prefer more codec/format

cd config
rm module.sh
ln -s module-default.sh module.sh
cd android/contrib
sh compile-ffmpeg clean

If you prefer less codec/format for smaller binary size (include hevc function)

cd config
rm module.sh
ln -s module-lite-hevc.sh module.sh
cd android/contrib
sh compile-ffmpeg clean

If you prefer less codec/format for smaller binary size (by default)

cd config
rm module.sh
ln -s module-lite.sh module.sh
cd android/contrib
sh compile-ffmpeg clean

固然也能够根据须要本身裁剪.
咱们来看下ijkplayer/config/module-lite.sh 即default裁剪模式支持哪些编解码方式
咱们能够看到
export COMMON_FF_CFG_FLAGS="$COMMON_FF_CFG_FLAGS --enable-demuxer=hls"
export COMMON_FF_CFG_FLAGS="$COMMON_FF_CFG_FLAGS --enable-parser=aac"
export COMMON_FF_CFG_FLAGS="$COMMON_FF_CFG_FLAGS --enable-parser=h264"
export COMMON_FF_CFG_FLAGS="$COMMON_FF_CFG_FLAGS --disable-protocol=rtp"
export COMMON_FF_CFG_FLAGS="$COMMON_FF_CFG_FLAGS --enable-protocol=rtmp"

### 四. ijkplayer的java层源码分析
【先占坑，接下来详解】
### 五. 项目中ijkplayer的封装以及mediaview的封装以及使用
【先占坑，接下来详解】
### 六. ijkplayer底层学习
【先占坑，接下来重点学习】
### 七. 开源项目
【接下来仿网易云音乐，写一个开源项目，欢迎多多关注】
### 七. 常见问题以及解决方案
1. [ijkplayer播放rtmp直播流，延迟明显 ](https://github.com/Bilibili/ijkplayer/issues/210)
2. 全屏播放
3. 有时候会开始直播时出现黑屏
4. 有时候会出现花屏
5. 解码方式设置
6. 如何区分点播直播
7. 是否须要开启硬件加速
8. [How to set up only listen to the sound does not show video?](https://github.com/Bilibili/ijkplayer/issues/1074)
9. 如何设置后台播放
10. 视频加载速度慢
The traffic speed is mostly depending on the quality of video CDN, not player itself.
11. 怎么静音 和非静音
mute/unmute system volume.There is no mute/unmute API in ijkplayer.
12. 视频黑屏，可是有声音
肯定下视频源的编码方式,ijk默认只带了h264解码code
13. 适配问题,对于不一样的cpu架构,须要编译不一样的so库
14. 播放视频有的设备声画不一样步
15. 如何查看m3u8时长 
   cat game05.m3u8 | grep EXTINF | wc -l 32
16. how to change the video quality?
Video quality is determined when being encoded.I don't think it can be changed by player.
17. 倍速播放
Not until Android 6.0
18. 为何往前拖动进度条后，还会日后退几秒
seek只支持关键帧，出现这个状况就是原始的视频文件中i 帧比较少，播放器会在拖动的位置找最近的关键帧。
19. how to change URL when ijkplayer is playing RTMP video
Create new player.
20. 怎样添加字幕呢？
若是但愿字幕时间精确，能够在native层作解析和时间同步，到了时间后回调给java层,通常字幕文件加载都是在java层作的，解析文件格式，而后按照时间区间来显示。
21. 如何设置硬解?
ijkMediaPlayer.setOption(IjkMediaPlayer.OPT_CATEGORY_PLAYER, "mediacodec", 1);

ijkMediaPlayer.setOption(IjkMediaPlayer.OPT_CATEGORY_FORMAT, "http-detect-range-support", 0);
ijkMediaPlayer.setOption(IjkMediaPlayer.OPT_CATEGORY_PLAYER, "overlay-format", IjkMediaPlayer.SDL_FCC_RV32);
ijkMediaPlayer.setOption(IjkMediaPlayer.OPT_CATEGORY_PLAYER, "analyzeduration", "2000000");
ijkMediaPlayer.setOption(IjkMediaPlayer.OPT_CATEGORY_PLAYER, "probsize", "4096");
ijkMediaPlayer.setOption(IjkMediaPlayer.OPT_CATEGORY_CODEC, "skip_loop_filter", 0);
```

八. 参考

视频基础知识
 多媒体编解码基础知识
 流媒体中用到的几个协议简介
 流媒体协议介绍（rtp/rtcp/rtsp/rtmp/mms/hls）
android-developer
No RTSP keep-alive packets in 2.3 causing streaming server to close the connection
H264解码器源码(Android 1.6 版)
Android VLC播放器二次开发1——程序结构分析
 能够用WebRTC来作视频直播吗？
WebRTC音视频开发总结
 雷霄骅(leixiaohua1020)的专栏
 MediaPlayer

github
微博欢迎多多交流