
网易视频云:网易平台级视频服务存储技术.docx
4页
网易视频云 : 网易平台级视频服务存储技术网易视频云是网易倾力打造的一款基于云计算的分布式多媒体处理集群和专业音视频技术,为客户提供稳定流畅、低时延、高并发的视频直播、录制、存储、转码及点播等音视频的 PaaS 服务教育、远程医疗、娱乐秀场、金融等各行业及企业用户只需经过简单的开发即可打造音视频平台现在,网易视频云与大家分享一下网易平台级视频服务存储技术云计算近年以每年 32%的增长率飞速发展,视频云领域也正以 80%的流量逐年递增,腾讯、阿里、金山、 ,乐视,当然还有网易,各大厂商都加入了视频云的混战这些视频云厂商,不仅有基于 IaaS、PaaS 及 SaaS 层的服务以及对应层级的运维支撑,还覆盖了游戏、教育、媒体、医疗…..多个应用场景大家都说,视频服务存储技术是视频云服务关键而视频服务存储技术往往像个神秘大黑箱,网易视频云就为你打开视频服务存储的黑箱!伴随无线网络传输质量的提升和移动设备的智能化,2016 年国内视频应用呈现爆发态势,以当下最火的直播 APP 为例,映客在 APP Store 下载量超越支付宝蹿升至第 7 位相比于互联网其他应用服务,视频应用对传输的实时性,播放的流畅性,存储的稳定性有更高的要求,对于传统的视频服务企业,要提供优质的视频服务,需要极高的技术门槛和资源成本。
云计算本身具有的高可靠性、资源共享性和可扩展性,促使了视频技术的云化,加速了视频应用的发展,两种技术相结合形成了当下流行的视频云技术对应于云计算的分层,视频云服务相应分为产品级服务、平台级服务和资源级服务产品级服务包括市场上形形色色的视频类 APP,应用于教育、游戏直播、娱乐秀场等各种场景;平台级服务通常是指一站式的视频服务解决方案,为上层应用提供包括直播、点播、鉴权,内容审核和音视频转码在内的完整的 SDK 和 API 接口,具有接入方便,二次开发量小等特点;资源级服务位于云计算架构的最底层,能为包括视频服务在内的所有依托于云的应用提供底层软硬件资源的支持针对视频服务而言,资源级服务主要包括:流传输和视频存储流传输的目标是速度快、卡顿低、延时小流传输依托于流分发网络技术(VDN) ,类似于内容分发网络,VDN 利用边缘网络节点,避开网络拥塞链路,实现视频流传输的加速直播和点播是视频服务的两大功能模块,毫无疑问,要支持点播功能,需要先存储视频,其实直播同样离不开存储,直播具有实时性,必须主播和观众同时,才能完成一次直播,一旦主播推流结束,后续进入直播间的观众就无法拉流观看,主流的直播应用为了保证用户日活,通过录制直播视频,支持观众在直播结束后仍可观看高质量的直播视频,而录制的视频必须存储下来。
由此可见,存储是视频服务的底层基石,接下来讨论视频的存储问题云端视频数据存储的关键在于稳定网易视频云服务借助网易对象存储系统(Netease Object Storage,NOS)完成对视频数据的存储NOS 是一个海量的 Key-Value 存储系统,Value 的容量上限为 1TB,完全能满足高清视频文件的存储需求桶是NOS 的对象容器,是管理数据的全局唯一的逻辑命名空间NOS 以网易分布式文件系统(DFS)作为数据存储,依托网易分布式数据库(DDB)存储元数据,主要功能包括:海量数据读写删操作;大文件分块上传;文件去重上传(保存引用计数) ;对象多版本;安全认证;多租户流量隔离;支持 POSIX 接口,远程目录挂载本地等下图是 NOS 的整体架构:用户可以通过 Restful 接口、JAVA SDK、Android SDK 和 IOS SDK 完成视频文件的上传下载、通管理、对象管理等操作视频上传是存储视频的关键一环,对于平台级的视频服务而言,视频上传往往涉及多方服务调用,下图是视频上传流程的一种解决方案,其中CloudServer 为视频云服务器,AppServer 为应用服务器,AppUser 是个人用户。
CloudServer 提供两个接口:1.供用户调用的上传前初始化接口,用于设定上传视频需要的偏移量、存储位置等前置条件;2.上传完成后供 NOS 访问的回调接口,该接口处理上传完成后的业务逻辑,例如添加视频信息、修改任务状态等流程图中标红的实线是实际的视频流传输动作NOS 的以上功能已经能很好的满足视频服务对存储的需求,此外,NOS 支持的云分发特性和富媒体服务,使其更好的适用于视频应用场景云分发主要包括 NCDN 和NCAN 两个功能模块,NCDN 支持加速域名创建、禁用、查询、配置等操作,提供缓存清理、流量查询等接口;NCAN 支持断点续传、边缘节点上传加速等功能富媒体服务是一个高效易用的多媒体数据处理框架,用户将原始音视频文件上传后,通过富媒体接口完成获取视频关键帧截图,去黑边,视频加水印,图片裁剪、旋转、高斯模糊等操作网易视频云在充分发挥 NOS 强大的存储能力的基础上,封装出了包含视频上传、视频转码、视频分类、视频屏蔽、视频恢复等功能的一套完整的 PaaS 层接口,助力企业级用户快速方便地接入视频服务。
