RTC2018互联网大会参会总结

一，行业趋势

今年在RTC界影响较为重大的事件:

• WebRTC 1.0 Feature Complete

    WebRTC项目从2011年至今，经历了7年的时间。从最初项目的开源到标准的逐步完善，到各大浏览器厂商到支持，到今年全部的功能特性敲定，标准的最终定稿，标志这WebRTC项目迈向成熟，且将迎来更大的一波爆发。

• AV1定稿

    AV1编码标准是AOM联盟发布的首个Codec。AOM联盟在今年3月份，宣布AV1完成最终定稿，而且苹果也宣传加入AOM联盟，将支持AV1。有了苹果的支持，AV1有望成为下一代一统江湖的编码规范。

• AI与深度学习在RTC技术的深度结合

    除了标准相关，随着人工智能的发展，实时音视频领域跟人工智能结合也给行业带来了更多的创新机会（基于机器学习的编码，带宽实时估计，实时图像识别等。

• 5G商用时间表落地

    今年，各国5G商用时间表落地，将催生更多的RTC场景。

    除了以上关键事件，今年随着RTC技术的发展，RTC技术在教育/医疗/游戏行业/政府民生有了更多的应用的场景，实时音视频技术的结合也将有一轮新的浪潮。

• 教育行业

    随着实时音视频技术的普及，在线教育的互动能力，在线教育的教学模式也迎来了新一轮的创新突破，好比举手连麦，1v1，双师模式，小班课，学生表情分析等。另外，更多垂直领域相关的教育服务场景，如互动英语教学，实时乐器/声乐教学，都须要低延迟的RTC服务。

• 游戏行业

    基于实时视频游戏互动的游戏场景，如狼人杀，棋牌游戏等。将以前的陌生人纯对战游戏方式，变成基于熟人之间的音视频社交游戏体验。在线娃娃机也是今年比较火爆的一个游戏与RTC结合的场景。另外在VR/AR方面，也有一些结合RTC技术的游戏体验尝试。

• 其余

    重庆上线120急救服务，用于在救护车到达前经过实时音视频技术，让专业医生指导患者紧急诊断处理，避免错过最佳的治疗抢救时间或者由于误操做形成2次伤害。其余的场景，好比实时警务，证券开户，在线答题等，都是今年在RTC行业上爆发的新应用场景。

二，议题

    大会分为2天，第一天上午主会场主要是声网对行业趋势讲解，下午分为机器学习与实时技术专场，实时互动架构设计专场，编解码技术专场。9月8号上午则为国际峰会，主要邀请了WebRTC规范做者以及WebRTC产品经理还有其余音视频领域外籍专家讲解一些标准以及新方向。下午为大前端实时技术专场，实时网络与质量专场，社交游戏专场。

1，编解码技术专场

    主要讲解了一些较为前沿的编码技术方向 ，好比：

    声网的面向实时通信的高质量视频编码优化的方案的介绍，大概的优化策略为：

• 编码前：基于机器学习的带宽估计；帧率，分辨率自适应；图片内容检测及ＲＯＩ编码。

• 编码中：码率控制算法优化；软硬件动态切换编码；视频质量主观评分系统；

    另一个专题介绍了，声网耗费2年时间自研音频解码器solox - 兼容 WebRTC 标准的抗丢包语音编码器。

    主要分享了声网研发的一个solox的音频编码器方案，而且兼容WebRTC标准，在抗性这块优于opus。其思路大概为将本来32k码率的音频，编码阶段拆分红2组16k码率 流，而且他们是分组频互补关系。这样当用户接收时，网络很差，丢了一组码率，也能正经常使用一组低码率流播放，网络好时，则2路一块儿处理，音质效果更佳。

2，海外专场

    本次国际峰会邀请了2位谷歌WebRTC方向相关工做者来给咱们分享。

Daniel Burnett做为W3C WebRTC规范编写者之一，分享了WebRTC继1.0定稿后，下一个版本的加强的一些特性方向 - What is next for the WebRTC standard?，主要内容：

• 身份验证与同播:

只有指定的对端才能解密捕获后加密的媒体流;同一时间同时接收以及发送多分辨率视频流。

• 可伸缩编码（H265/AV1）:

视频能够在时间以及空间纬度压缩。时间纬度：发送低帧率视频，并插入高帧率视频流；空间纬度：发送低分辨率帧，插入额外高分辨率帧。根据实时带宽，接收低/高的帧率或者分辨率的流。

• 后台运行

WebRTC运行时，不依赖浏览器窗口打开。

• javascript更多能力

对于前端开发人员来讲，以前WebRTC提供给浏览器接口的能力比较受限，不少底层逻辑(解包，解码)都没法在javascript层面去干预。下一版本将着重提升javascript在WebRTC中的操做能力，好比：能够处理getUserMedia获取到的媒体流；替换编解码器，设置编解码器参数等。

• Quic用于替换DataChanel SCTP

    另一个谷歌的WebRTC产品经理Huib Kleinhout概述了WebRTC涵盖的许多组件、标准和技术挑战，以及它如何改变了通讯行业 - WebRTC 1.0 and beyond。 从该分享中能够提炼几个点：

• WebRTC的使用用户愈来愈多，其中近2年中国增速较快；

• SDP的标准将从Chrome72默认采用Unified Plan；

• 目前除Chrome外，其余浏览器的WebRTC都落后几个版本；

• WebRTC在各个浏览器版本中的测试状况，以及谷歌专门设计的一套测试工具介绍；

• 谷歌在解决的一些issue状况。好比，mac上面声音获取异常等；

• WebRTC跟其余技术结合，能作一些更有趣的场景(WebGL，AI，屏幕捕获，Canva，PWA)

  
  

3，实时架构设计专场

    因为IMWeb目前主要作腾讯在线教育业务，大会也有不少关于教育领域的话题，其中来自vipkid的技术副总裁张燕静作了一个《技术创新改变教育将来》的分享。他们是一个让美国外教教中国小朋友学英语的业务，主要也是依靠RTC实时音视频技术来作技术支撑。分享了他们业务的一些数据跟技术上面的架构。

数据：

• 1000万+的老师客户端，1.5亿学生客户端

• 6万北美外教，50万付费学生（这里的数据我的感受跟上面的客户端占比不大符合），分布63个国家地区

  
  

技术架构：

• 跨全球的第延迟通信网络，网络节点遍及16个国家，55个城市

• 全球9个计算中心，100台gpu集群

• 基于机器学习的学生表情识别，语音评测，智能客服

  
  

业务：

• 根据学生性格分配老师，根据老师的能力图谱分配特定年级的老师，以及根据学生学习能力分配特定教材，根据错题定制化强化教学服务

• 课前经过趣味性交互，提早预热，让学生更早进入状态

• 根据学生行为经过数据化指标去衡量学生的学习状况，针对据说读写弱项作强化，课后发送学习评测报告反馈家长。

  
  

    其余讲题因为篇幅关系，就不一一展开。

三，总结

    本次参加RTC大会，不管从行业视角或者技术内容相关的，都能带来很多收获。特别是不少教育领域的不少公司也应用了WebRTC相关的技术去作，在1 对多直播架构架构，Web上行这块也有不少踩坑经验能够借鉴。还有就是Google Daniel Burnett的WebRTC下一标准特性的介绍，确实给了js开发者不少信心，相信从此前端经过JS在浏览器上面处理音视频的能力以及权限，能力愈来愈大，这样也能作更多好玩的事情。最后，音视频领域水很深，做为前端来讲，太多知识须要继续恶补，不断学习了解，共勉！~