从开发小白到音视频专家

本文整理自卢俊的演讲，目标读者是对音视频开发感兴趣可是又不知道如何下手的初学者们，但愿对你们有所帮助。

卢俊，七牛云客户端团队技术负责人。拥有丰富的音视频领域的开发和实战经验，前后开发过 Android 播放 SDK、Android 推流 SDK、短视频 SDK，并主导了七牛连麦系统的设计和实现。服务过上百家直播客户，包括熊猫、全民、龙珠、汽车之家、懂球帝等。

1. 成长的烦恼

常常收到一些网友的来信或者留言，反馈以下这样的困惑：

“我是一名应届毕业生，该如何快速地成长起来”

“我只懂 C/C++，是学 Android 开发有前途，仍是 iOS 开发有前途？”

“我是一名 Android/iOS 开发，已经能够独立完成一个完整的 App 开发上线，该如何继续提高？”

“我想从事音视频开发，该如何入门？ 如何进阶 ？”

很高兴看到你们有这样的问题，由于这也从侧面反映了你是一个积极向上，想不断努力来提高本身的人。

我就先从一个简单的问题聊起，“到底 Android 开发有前途仍是 iOS 开发有前途？”

其实这个问题跟 “PHP 是否是世界上最好的语言同样”，只会引起争论，却没有什么实际价值，在我看来，不管是 Windows、Linux、Android 仍是 iOS 开发，都没有什么优劣之分，它们其实都有着不少的共同点，那就是：

1. 都是基于操做系统提供的 API 完成特定需求的实现

固然，也有些不一样的地方，好比：

1. 系统的 API 和特性不一样

2. 编程语言不一样，Windows/Linux 以 C/C++ 为主，Android 以 Java 为主，iOS 以 Object C 为主等等

但不管什么平台，他们的学习曲线实际上是相似的，都要经历差很少以下的环节：

1. 学习对应平台的编程语言，如：C/C++，Java，Object C，Javascript 等

2. 熟悉对应平台提供的 API，如：UI 库，网络，文件，数据库， 图片处理，多媒体处理 等等

3. 掌握平台相关的特性、框架和原理，如：Windows 的 WINSOCK，ODBC，WPF 等，Unix 的设计哲学，Android 的四大组件，iOS 的 MVC 模式等等

4. 经过具体的项目，熟悉和练手，达到可完成任意功能的开发

当你已经走到第 4 步了后，每每就会感受遇到了瓶颈，产生如文章开头的问题，下一步何去何从 ？

其实我一直有一个观点，就是：

“基于平台的 API 作应用开发，并非一个能够走得多远的方向，真正有价值的地方在于与具体的业务方向结合”，好比：

• 网络安全
• 音视频
• 智能硬件
• 深度学习
• 大数据
• 其余（好比：金融、通讯等）

在具体的业务领域，你能够慢慢沉淀下来，用本身的努力和时间换来对领域知识的深刻理解和积累，逐渐从一个开发小白走向最懂这个行业的专家。

今天呢，我就主要跟你们分享下，若是你对音视频这个领域感兴趣，应该如何入门和提升 ？

2.音视频开发包括哪些内容

虽然一篇文章没法把音视频开发的知识点都介绍清楚，可是大概的学习路线仍是能够梳理一下的，咱们先看看下面这张图：

其实说白了，音视频开发，就是要掌握图像、音频、视频的基础知识，而且学会如何对它们进行采集、渲染、处理、传输等一系列的开发和应用。

• 采集：它解决的是，数据从哪里来的问题
• 渲染：它解决的是，数据怎么展示的问题
• 处理：它解决的是，数据怎么加工的问题
• 传输：它解决的是，数据怎么共享的问题

每个门类，均可以深挖，衍生出一个又一个充满技术挑战的话题，好比：如何更高效地渲染画面、如何提升音视频的压缩比，如何优化弱网下的音视频数据传输等等。

其实，音视频开发的技术积累，也没有那么难，带着问题去 Google，带着任务去实践，一切都不是问题，咱们就从上面说的 4 个方向，逐个探索一下，有哪些知识点，是要咱们去了解和掌握的。

2.1 采集

采集，它解决的是，数据从哪里来的问题，那么，数据究竟从哪里来的呢 ？

其实不管在哪一个平台，图像、视频最初都是来自摄像头，而音频最初都是来自麦克风，所以，作音视频采集，就要掌握以下的技术知识：

1. 系统的摄像头采集接口是什么，怎么用 ？

好比：

Windows：DirectShow Linux：V4L2 Android：Camera iOS：AVCaptureSession

2. 系统的摄像头采集的参数怎么配置，都是什么含义 ？

好比：分辨率、帧率、预览方向、对焦、闪光灯 等

3. 系统的摄像头输出的图像/视频数据，是什么格式，不一样格式有什么区别 ？

好比：图片：JPEG，视频数据：NV21，NV12，I420 等

4. 系统的麦克风采集接口是什么，怎么用 ？

好比：

Windows：DirectShow Linux：ALSA & OSS Android：AudioRecord iOS：Audio Unit

5. 系统的麦克风采集参数怎么配置，都是什么含义 ？

好比：采样率，通道号，位宽 等

6. 系统的麦克风输出的音频数据，是什么格式？

好比：PCM

2.2 渲染

渲染，它解决的是，数据怎么展示的问题，那么，数据究竟怎么展示呢 ？

其实不管在哪一个平台，图像、视频最终都是要绘制到视图上面，而音频最终都是要输出到扬声器，所以，作音视频渲染，就要掌握以下的技术知识：

1. 系统提供了哪些 API 能够绘制一张图片或者一帧 YUV 图像数据的 ？

好比：

Windows：DirectDraw, Direct3D, GDI，OpenGL 等 Linux： GDI， OpenGL 等 Android：ImageView，SurfaceView，TextureView，OpenGL 等 iOS： CoreGraphics，OpenGL 等

2. 系统提供了哪些 API 能够播放一个 mp3 或者 pcm 数据 ？

好比：

Windows：DirectSound 等 Linux：ALSA & OSS 等 Android：AudioTrack 等 iOS： AudioQueue 等

2.3 处理

处理，它解决的是，数据怎么加工的问题，那么，数据究竟能够怎么加工呢 ？

首先，咱们看看图像/音视频的数据能够作哪些加工 ？

其实不管在哪一个平台，图像和音视频的加工，除了系统的 API，大多数都会依赖一些跨平台的第三方库的，经过掌握这些第三方库的原理和使用方法，基本上就能够知足平常音视频处理工做了，这些库包括但不限于：

1. 图像处理：OpenGL，OpenCV，libyuv，ffmpeg 等

2. 视频编解码：x264，OpenH264，ffmpeg 等

3. 音频处理：speexdsp，ffmpeg 等

4.音频编解码：libfaac，opus，speex，ffmpeg 等

所以，学习和掌握这些第三方库的使用，很是有必要。

2.4 传输

传输，它解决的是，数据怎么共享的问题，那么，数据究竟怎么共享呢 ？

共享，最重要的一点，就是协议。

我以为互联网之因此可以如此蓬勃地发展，将整个世界都紧密联系在一块儿，实际上是离不开 W3C 这个委员会的巨大贡献的，由于不管什么数据，要想在不一样的国家、不一样设备之间互联互通，离不开 “标准”，有了 “标准”，你们就能互相读懂对方。

所以，研究音视频传输，其实就是在研究协议，具体有哪些协议呢 ？

1. 音视频在传输前，怎么打包的，如：FLV，ts，mpeg4 等

2. 直播推流，有哪些常见的协议，如：RTMP，RSTP 等

3. 直播拉流，有哪些常见的协议，如：RTMP，HLS，HDL，RTSP 等

4. 基于 UDP 的协议有哪些？如：RTP/RTCP，QUIC 等

互联网环境下的音视频的传输，是一个很是有挑战和价值的方向，为了解决弱网下的传输延时、卡顿，提升用户体验，整个业界都在不断地进行着深刻的探索和优化。

3.小结

限于篇幅缘由，经验分享就到这里了，音视频的路很长，更多的仍是要靠本身去学习和实践，带着追求极致的精神去探索和优化，相信你们都能快速成长，成为真正的行业专家！

关于这个话题，有任何疑问欢迎来信 lujun.hust@gmail.com 交流，另外，欢迎关注新浪微博 @卢_俊 或者 微信公众号 @Jhuster 获取最新的文章和资讯。