阿里视频云技术专家孙小军：短视频SDK非编架构与渲染引擎技术实现

在6月8日上海云栖视频专场中，阿里视频云技术专家孙小军进行了一场短视频技术分享，解读了短视频非编架构和渲染技术架构的实现原理。阿里云短视频SDK服务了1000多家企业用户，遇到了不一样垂直行业、不一样业务场景的客户。除了面临多样性需求的技术挑战外，还面临着扩展性、性能及兼容性上的考量。

那么，在基础架构研发层面是如何解决这些问题呢？

阿里云的短视频SDK从非线性编辑入手，主要目标是对音视频素材作任意部分的随机存取、修改和处理。其次，阿里云短视频SDK对渲染效果进行管道化处理，提供渲染底座，方便对接不一样的视频算法及组合复杂的渲染流程。

在传统的非编场景中，当咱们有编辑需求时，是这么操做的。左上角有素材裁剪，导入或采集的视频，要作裁剪、倒放、拉伸等等处理，下一步是添加一些滤镜效果，若是有多段视频，能够选择不一样方式的转场。下面在整个视频时间轴上存在不一样轨道，每一个轨道上能够在不一样的时间段放不一样的素材，每一个素材能够拉伸时长、变速等。

1、短视频的非编架构是怎样的?

经过提炼，咱们抽取了五层架构。最上面一层是产品级的DEMO，方便用户快速修改发布上线；第二层是成熟的、开源的UI控件，像时间轴空间、文字动图编辑控件等，用户能够直接使用也能够定制化；第三层是针对短视频场景进行一些编排，包括录制场景、视频导入裁剪、多段拼接、编辑场景等；第四层是多媒体领域通用性的组件，包括渲染、音频处理、编解码等；最下层是多媒体分发框架，是对包括线程模型、时钟机制、监控、状态管理等跨平台的基础能力的抽象。下面咱们从几个重点层级详细展开。