如何在小程序上增长音视频？

欢迎你们前往腾讯云+社区，获取更多腾讯海量技术实践干货哦~

本文首发在云+社区，未经许可，不得转载。

做者：常青|腾讯视频云终端技术负责人

2017年第四季度，腾讯云终端团队和微信合做，将腾讯云多年积累以SDK的形式落到微信上，从而开放了音视频能力。今天我主要跟你们介绍一下关于小程序的音视频，而后先作一下自我介绍。我也是腾讯云的同窗，咱们有一个很是不错的视频云，你们看到的直播、点播包括实时通话等场景应用都是在腾讯视频云落地的。我这边主要负责视频云终端技术这一块的事情，这一块今天也是围绕着老本行，跟你们谈一谈咱们怎么样把音视频技术在小程序上进行落地。

今天主要是这几个部分，首先咱们为何要干这个事情？由于不少朋友就说腾讯云讲这个东西一点不感兴趣我不要听，由于并无那个需求。其实咱们能够看一下再说，这里面有不少细分的场景，有不少的商业价值和挖掘空间的。

值得注意的是今天的主题主要讲原理，讲一下技术路线。这一块主要是分享了，没有太多打广告的意思。若是你们有时间能够耐心的听下来，我以为是不错的。若是你以前没有了解过，我估计听下来你也能够成为半个音视频专家。最后我讲一讲快速的落地，黄老师刚说的WEBRTC我一直在用，它能够实现一个目标，让我一我的能够搞定一个很不错的东西，在此以前至少是两我的，一个前台一个后台。

小程序的优点你们都知道，没有安装成本，好比说平时去刷的百度的贴吧，你点开广告你就没有欲望去继续下载了。这些广告都是须要闪现的，到底有多少人装？这是一个数学游戏。

还有一些低频刚需的场景，若是你真的解决了APP的安装问题，好比说刚才黄老师也讲的摩拜单车，你之前没装APP，若是在多装这个APP真的会崩溃。因此这个时候这个场景就颇有用。还有一个其实刚才说过，广告效应很是好，你们有没有刷朋友圈的时候遇到长按扫描二维码进入咱们的介绍页或者介绍的小程序的状况，有不少的广告在小程序就是经过这个方式进行传播的。第一是在朋友圈传播的效果其实会容易，第二信息的传递比较好。

它既然有那么多好处，我这边天然会想咱们的音视频这一块田地怎么去结合，如何去作这么好的场景？说咱们有直播、点播还有音视频的应用。直播如映客、花椒、斗鱼等，点播如优酷、土豆、爱奇艺，还有视频，微信上你们开视频会议。这些场景结合微信小程序有很大的市场前景？

双面音视频

说一下双面音视频，若是两我的聊就是两个朋友或者关系很好的人，这叫交友。可是若是放在企业里面，放在客服系统上这就彻底不同了，好比在线的客服系统，就有很大的优点，相比于传统的一些电话系统。咱们能够看这样一个场景，早晨开车上班，迟到了老板没有等到回报，很着急。这时候车擦了，你等着定审的人过来，堵塞交通一两千就罚掉了。这个时候特别但愿在线视频就能够解决。咱们有不少客户尝试使用APP解决相关问题。可是不少用户抵触心理很强。若是这个时候你跟他说点个连接，在小程序里面搜一个什么什么保险，就能够完成这个简单的流程，后续接入视频通话，在这里拍一个照，而后那边定损人员一看你权责，他权责，这样保险公司和用户都很喜欢。

再讲一个远程评审，以前咱们跟法院合做还有这样的案例。法院在大城市里，原告被告分别是农村两个小伙子，由于一点琐碎的事情吵架。其实法院只须要简单远程作一个事情，这么一点小事，你非到大城市里面打官司，一场官司没有那么容易打的。后续还要来回跑好几趟。如今农村4G和WIFI覆盖面也不错，法院只须要远程解决的事情，这里面有很大的商业空间和利润空间。

这些场景有不少的能够结合的点，咱们的功能很是多，直播、点播都有，这个成本很低。

原理

我今天的重点就是讲一下原理，这一部分实际上是重头戏。

这一块实际上在讲这个东西以前先说一下故事，跟微信团队也是有一个合做，当时咱们但愿腾讯云的技术直接放在微信的APP里面去。微信的同窗就说咱们提一些要求，就是像美国的国防部给别人去提要求，你须要达到多少技术指标，要求很是高的。微信提了几个标准，第一简单易用，第二要可扩展、可定制，咱们的开发者能够拿到作各类场景的需求，第三实现音视频直播，第四，第5、第6、第7、第8、第九，我以为这个需求太夸张了。

我这我的喜欢被挑战。你知道前苏联卡拉斯克夫曾经作了一把很牛的枪，这个武器在当时越南打阻击主要的武器，其实很大一个就是在设计理念上简单。像阿富汗那个小做坊几个老头就能够作。第二可靠；从不卡壳，关键时刻站住，一按就出来。不像印度造的枪，该打的时候打不出火来。威力很厉害。这把枪的设计理念咱们应该去延续。

咱们也在想，咱们能不能去想一想怎么设计这样一个理念，作这样颇有优点的一个解决方案。最后结果固然比较理想，咱们算是朝这个方向作了一些努力，也作了一些成绩。

首先技术架构就不说了，说说咱们在微信里面内嵌了音视频组件吧，它是一个无偿使用的版本，这个产品咱们已经打磨了已经有两年多了，并且如今每月都一两次更新。并且这里面SDK有两部分组成的，一个是音视频上行，另外一个是音视频下行。

上行解决什么问题？上行叫推流，就是把本地的画面通过采集而后进行预处理，有人可能问处理要干什么？好比说美颜，这个很接地气的需求。再有要降噪，声音也须要降噪，可能音频其余背景很很差的状况下，听着也很不舒服了。而后再进行编码，咱们须要以数量级十倍、二十倍把这个数据量压下去。再最后经过网络模块传到云端上去，如今基本上音视频研发都是依赖于这个的，可是效果和稳定性都比较查，不过如今网络成本已经开始降下来了，因此不必再这样作了，如今直接就可使用腾讯云。

而后下行，俗称拉流。原来上去的，如今下来，这个就叫播放。播放的话，其实就是从上至下，尤为是网速时快时慢时候，你会发现播放一卡一卡的，这种效果优化就很差，因此必定要加一个缓存，像一个蓄水池同样，合适的时候在优化，再进行解码，进行渲染。

有了上行，有了下行，有了播放，这就是架构。微信里面从标签到下面的SDK，再到网络再到另外一端，这样就把这个链路串起来了。有了链路以后咱们至关于有了两个基本的原则，就能够组合成多彩的事件。

技术演化，第一个就是播放对应上行，有了这两个标签以后咱们靠云在中间就进行直播功能，就是你们看到映客、斗鱼、花椒等能够体验一下，基本上能够把该有的东西都作到，包括各方面的这些消息、还有各方面的延迟都是很好的，可是全屏效果不如作的原来的作的好。

这个方案为何我说要加个云呢？我手里的这个麦，是整个会场的音频系统的一个部分，它负责把声音采过去，其实就像我刚才说的推流，进行一个处理。我估计在这个地方会有一个数字处理电路，会对声音进行一些清洗相应的整合，而后再教给后面的系统进行逐级放大。逐级放大是什么程序？可能咱们腾讯云的全国上万台机器，全国各地都要看要扩大到一万台机器。你能够把云当成信号放大器，将一个单点的圆，无限的拷贝，让每个人都能在就近的一个机房里面拉到一个高质量的音视频流，这样就能够解决卡顿的问题和流畅性的问题。

当您有了这样一个放大器以后，加上上行和下行，才能构建出一个高并发的解决方案。好处是比较便宜，像腾讯云价格能够看一下，价格很低。再加上它的质量很不错，并且能够作多清晰度的切换，可是由于有很大的数据，因此延迟至少2秒以上。

接下来咱们就开始作能力+，作升级。直播场景搞出来了，可是DS场景还须要作的。DS场景何时须要？我如今要作远程调控，2017年在线夹娃娃场景，要求是极其苛刻，这个延迟是极高的，300毫秒行不行？若是你能作到100毫秒真的很牛，因此咱们要加科技点了。咱们想了两个方案，一个是UDP加速，一个延时控制。娃娃机是一个远程遥控，正常看是2到5秒，真正的机器要求是500毫秒之内把它传递到机器那面过去。这个其实咱们要须要作什么样额外的科技点的积累呢？UDP协议当时设计者设计的时候是本着天下为公的理念。因此你们的理念就是你让一让，我让一让，这个场景就变成一个问题，稍微一堵，它就开始网速就下来了。你来作高延时的场景是会被伤掉的，有时候很是但愿脾气硬一点。那怎么办呢？咱们可能要换一下，我用UDP。当网络差我也要继续发。第二个颜色控制，这个功能其实让咱们腾讯云在去年年末作风险大会的时候，解决方案是傲视群雄的，延迟控制不用对着时间戳，所以咱们保证了直播到观众的延迟控制在3s之内。

有了这样一个链路，远程的遥控、远程的互动均可以作，可是这仍是单向的。

有了单向的东西，又延迟又很低，我跟你一路延迟很低的单向，你再跟我一路，我们这个事情是否是就搞定了？因此专业音视频功能就出来了？其实没有那么简单，咱们还须要修不少的科技点。噪声、消除、回音抑制等。

我们先说一路上行，一路下行是单向，两路就RTC模式，如今模式选择RTC以后，两边的延迟都是500毫秒，双向通话就能够解决了，背后在技术层面咱们须要作这样一个东西。好比说假设个人延迟有点大，那么延迟控制小一点不行吗？可是数据丢了效果必定很是差。大学的时候老师会说音视频解决方案你用UDP就好了，可是压缩后的编码和数据真要丢了就解不出来了，因此真不能丢。那怎么办呢？咱们可能就是要在你察觉不到的地方把时间给缩回去。我如今在说四五十分钟的演讲，中间漏掉一两个字你们都能接受。咱们作的是删掉多余的时间空隙，人说话里面是有大量的空隙是能够作文章的。好比说咱们能够在这各点上作点文章，把咱们认为不过重要的数据切掉，这样的状况下声音也没有褶皱，，感受跟原来有一点点不同，可是内容很正常。因此在这种状况下咱们的时间也压回去了。

双向音视频的时候有时候会有破音、爆音的问题，解决这种问题的时候功能学的角度也是比较简单的，我要把声音变的柔和一点，作一些回声抑制，好比说我如今说话，你看他没有一个劲的循环，其实里面是有回音消除的电子元件的。咱们要上就是软件解决方案，就是把原本播出去的声音给它消除掉，这样就会作到回声抑制，不然两我的打电话就会听到无限回声。

以上声学处理的部分不是一两天能搞定的，，这一块以你可能要养一个研发团队，这个团队有不少声学专家、音视频专家，如今小程序有好处就是RTC搞定。我以为咱们仍是作了一件相对比较技术普世的东西。

有了这个双向音视频以后，咱们继续把技术往上提，把房间这个IM也拉下来。由于双人你一路我一路，很简单，很清晰，多人的时候，就很麻烦，因此不能这样玩，因此须要一个总控系统，去协调各个端的状态，协调各个端的输出，而后包括谁说话，谁不说话进行一些协调，这个就须要有一个房间的概念，房间的管理。再加上IM，作的程序，就能够把多人的解决方案搞定了。

其实多人解决方案里面服务端要多作一些事情，还须要一个相似于房间管理的概念，把A、B、C三我的拉里面，进行状态同步。咱们其实在小程序里面没有内置这么多的东西，其实有一点是说微信以简单为主，不要搞的那么复杂。因此就提了一个rtcroom解决方案，就是附及一些额外的逻辑，这一块在腾讯云移动直播解决方案里面是能够找到相应的东西的，或者在小程序音视频里面也能够找到相应的资料。

 

​这一部分说完咱们整个技术路线就走下来了，从简单的直播到DNS再到双向，其实大部分音视频的场景均可以涵盖了。可是这个时候有人跳出来跟我说，咱们作Webrtc的，苹果也跟它搞在一块儿了。这个时候咱们想说一下区别，而后咱们是怎么优化Webrtc的。

区别的话，如今你若是直接在微信里面去作Webrtc仍是有不少限制的，第一个浏览器内核，在不一样的手机可能不太一致，碎片化严重。苹果是内嵌，若是这个东西你要用的话，小程序没办法实施。目前在Webrtc这一块它的任何功能的加持都是苹果和谷歌两边达成一致，这个过程是很漫长的过程。因此在小程序这一块就是作一些接地气功能，不会去看苹果爷爷和谷歌爸爸的眼色。

再有就是说在设计理念上也会有一些不一样，Webrtc不少理念都是基于不可靠链构的，咱们小程序是能够用比较廉价的云解决的，这是跟Webrtc的对比。

咱们不是竞争，咱们实际上是能够跟Webrtc能够搞成一家的。腾讯云后台最近打算把两套系统打通，微信4月份版本发布以后，大家就能够在小程序上和Chrome进行互通。这一部分有点难，有兴趣的朋友能够看一下解决方案仍是有技术含量的。

说到打通以后，这涉及到另外一套解决方案，小程序+Webrtc，这一块在原来基础上把协议换成rom打头的就能够了。

快速上手，原来须要给他搭后台，搭前台，很是痛苦，如今你们能够直接在黄老师的系统上直接能够找到相应的包，咱们能够把里面的包传上去。并且调试特别方便。我今天分享就到这儿，看看你们有什么问题。

QA:

Q：我做为一个我的开发者，好比看有时候我的开发者一些开放内幕，好比说音视频相关的这些没有开放，我想开发这样的产品，它须要办理资质的成本很高。因此小程序在音视频这方面未来会不会更开放，让成本更低一点。

A：好像有一些比较简单的，你看直播内幕是很难。实际上我是很是但愿它全开放的，我也主动找了好几回微信的领导谈这个事情。微信的同窗给我说了一个很现实的担心，之前作APP若是出现涉黄涉政跟APP不要紧，因此这个问题他们是很是谨慎的。这里面其实资质的提交核心就是一个问题，若是出现问题靠这个资质咱们会在这边作一个控制手段，它只是想作一个自保的方案。我的开发者是我的相关调试的能力，还有一些内幕的话，相应来讲实际上是比较容易去提交上去的。

Q：点播和直播都会在中间加上缓存作吗？

A：实际上缓存是比较少的，像优酷、土豆是点播，视频是传上去，你能够从中间看，开头看，这是点播。直播是我如今摄象头开着，实时往上传，若是你多了以后可能产生跟高的延迟。腾讯内网是打通的，不必作那么多缓存，真正缓存主要是你们刚刚看到播放这一块，这一块会有咱们的缓存区，这里面有一系列的优化算法，这个是多大而后来去作缓存。其实整个系统里面惟一的缓存就这一块。

Q：我刚才想加缓存就是延迟性变高了。还有常老师提到涉黄涉政这一块，您在演讲的时候说对声音处理就能够作到每秒钟间隔就能够停调了，作视频的时候，会有一些美颜，这样这些内容大家的把控性其实很高的。这样的话，在中间到了相似于关卡那种，检测出涉黄涉政的直接就能够屏蔽掉了。

A：如今有这种系统，这种系统须要人为干预。我如今是这样一个态度，目前还没到彻底撒手无论的状态，如今是有误报的，主持人多是个人状比较黄，因此涉黄了，这就须要人为过一道，这里面就有延迟。先把人为举报到检测系统，观众越多的线路，你误报产生的代价越高。

Q：由于在作直播的话，虽然能够作一些涉黄、视频的处理，经过一些AI和监控，咱们有没有可能作一些录播，若是一旦出现什么事情的话咱们还要出现一些举证。您说的东西在咱们平台上是有直接的需求的。

A：是录播吗？

Q：直播的状况下有没有可能录播？

A：这个确定没问题，由于全部过云的，只要您说开一个按钮开了就能够全录下来，或者说从几点到几点录这个都是没问题的。可是在云解决方案的时候你能够把它搬过来，就是在技术含量比较高的地方，你要把音视频从新缓一下，好比说金融开户、还有法院都是录下来的，惟一问题是录是有成本的，是须要付费的。咱们相应推录制的时候政用是开放的，商用就不是开放的。 其实像咱们不少大客户一年成本带宽占一部分，还有他存一个月，这个量很是大。

 

问答

短视频能够经过什么技术接入小程序？

相关阅读

刘翌：如何利用小程序技术解决企业销售难题

李明：微信小游戏技术分享

余国良：微信小游戏的架构设计与开发

 

此文已由做者受权腾讯云+社区发布，原文连接：https://cloud.tencent.com/developer/article/1084503?fromSource=waitui