IoT设备高质量的实时音视频传输解决方案

       IoT设备高质量的实时音视频传输解决方案                     12月10日，实时互动云服务开创者及引领者声网Agora在北京举办了媒体沟通会，发布了首款定义轻互动直播场景的“极速直播”与可降低50%直播带宽成本的“低码高清”两大新产品，同时声网还对面向智能硬件、VR/AR等自编解场景的“实时码流加速产品-RTSA”进行全新升级。RTSA：实现物联网智能硬件互联互通根据Analytics数据显示，截至2020年上半年，全球的物联网连接数已经达到了117亿，历史上首次超过非物联网连接数。随着5G基础设施的逐渐完善、智能终端设备的不断普及以及云VR、云手机等新应用场景的涌现，实时音视频成为物联网人机交互的重要方式，然而物联网领域基于音视频的互联互通也面临着诸多挑战，例如生态割裂兼容难全面，不同厂家设备之间的互联互通和互可操作性差的问题，就像是一只站在物联网“房间里的大象”，一直被行业忽略；传统物联网音视频传输以P2P为主，实时互动体验难保障。针对这些问题，声网正式发布了全新升级的RTSA-实时码流加速产品，升级后的RTSA分为RTSA Lite与RTSA Pro两大系列，其中RTSA Lite面向资源有限的轻量级设备，拥有极小包体、超低功耗、低延时、抗弱网等特性，覆盖平台主要有Linux全平台以及RTOS平台，适用场景主要包含智能手表、智能摄像头、智能音箱等穿戴式、便携式的智能设备。RTSA Pro则面向体验优先、资源丰富的设备，覆盖Linux、Android、Windows等平台，适用场景为无人车、无人机、智能机器人等。声网Agora IoT行业产品负责人侯云忆在会上表示，RTSA依托声网的实时互动产品体系，又有别于之。RTSA把编解码的灵活性释放给设备端，支持客户充分利用硬件的优势进行自定义码流。在传输层，RTSA继承SD-RTN，运用全球全网节点 、智能动态路由以及端侧弱网对抗算法，提供高联通性、低延时、高稳定性的音视频码流传输云服务，配合低延时，高可靠的信令通道，助力开发者在任意设备与场景中开启实时互动能力。RTSA技术优势：全场景、全栈式、全平台、依托SD-RTN全场景：视频自编解码流，音频灵活支持编码前后格式；支持发送可靠控制消息；支持自定义编码格式码流；全栈式：实时媒体+信令控制的全栈式解决方案；全平台： Linux全平台；Windows / Android； RTOS: LiteOS / 鸿蒙 / ThreadX / freeRTOS；依托声网SD-RTN：与RTC全平台互通；支持多路、高码率；优异的抗弱网能力，声网拥有一套抗弱网传输与抗丢包算法，结合网络探测（如延时估计、带宽估计、丢包估计等）、抗丢包技术（如ARQ、FEC等）、自适应jitter buffer、网络拥塞控制策略等，实现70% 丢包下视频通话流畅、80% 丢包下语音通话流畅；超低延时专项优化，在超低延时方面，SD-RTN基于UDP的自研AUT协议，进一步在全局网络上进行了优化，避免了TCP的延时不可控缺点，保证交互的实时性。SD-RTN网络采用智能路由机制，所有边缘节点以秒级为单位周期性的互相发送测试数据包，每个边缘节点每秒都会刷新整网的最新网络质量，并综合丢包、延时、抖动等网络指标，为实时音视频业务“导航”出一条最优路径选择最优传输路径，直接将内容传输到对端，能够大大降低数据传输延时，可做到全球端到端网络延时小于400ms，延时中位数76ms。 依托声网自建的软件定义实时网SD-RTN，声网RTSA目前主要面向智能硬件、云游戏、AR、VR等行业的自编解场景，赋能低延时、抗弱网、高可靠的实时音视频传输和信令控制能力。例如在智能手表领域，声网与小天才智能手表合作，推出全球首个可以跑在RTOS上，并且成功商业化的实时音视频 SDK，实现了业界最小的Full-featured RTC，包体积300K，内存占用2MB，CPU占用30MIPS，适合超低功耗、快速启动、成本敏感的IoT场景。面向未来，侯云忆表示，基础技术设施的不断完善与成熟，将会推动物联网硬件越来越智能化，普及率也会不断提升，届时对RTSA的低功耗、低延时、抗弱网等特性也会提出更高的要求，声网作为专业的实时音视频技术服务商也会不断精进自身的技术，为开发者与客户提供更契合市场发展与用户体验的实时互动解决方案。 -全文完-