「菊风X乐鑫」轻量级实时音视频SDK与AIoT解决方案平台的碰撞！

Posted 2022-07-12 菊风 Juphoon

近日，菊风作为乐鑫科技在实时音视频领域的合作伙伴，基于乐鑫 AI SoC ESP32-S3的Juphoon IoT SDK正式上线。菊风此次基于乐鑫物联网开发框架ESP-IDF、音频开发框架ESP-ADF和多媒体实时通信协议框架ESP-RTC，采用Juphoon IoT SDK 赋能ESP32-S3实现实时音视频通话，与乐鑫共同开拓AIoT芯片在实时音视频通话业务场景中的市场应用。

菊风自研音视频引擎 (Multi-Media Engine–MME) 是针对IP实时音视频通信所设计的专业开发包，涵盖音视频QoS处理、音视频编解码、网络打包传输以及设备管理四大模块。

菊风MME的技术优势

• 具有专利的自适应回声消除，可适配市场上各类新旧机型，大规模节约调试和部署成本
• 具有专利的抗啸叫噪音的能力，提供优质的音频通话效果
• 具有专利的视频甜点（SPo）技术，在有限带宽内自动调整编码配置，获得最佳主观质量
• 具有专利技术码率控制技术，适应复杂的网络环境，带宽预测动态范围10Kbps～10Mbps
• 很强的弱网对抗能力，丢包30%时仍然音视频通话清晰流畅，丢包达到70%时RTC通信不中断
• 业界领先的实时视频编码技术，比常规H.264提升平均1倍以上压缩效率

在此基础上，ESP-RTC基于自研SIP协议栈可实现实时音视频通信，包含传输层、事务层和会话层。信令交互模块目前支持UDP、TCP、TLS三种方式，媒体传输模块支持RTP (UDP)、RTCP、SRTP和STUN、TURN、ICE NAT透传协议。ESP-RTC在传输模块中增加了乐鑫的 Jitter Buffer、PLC等处理，以抵抗网络丢包及抖动。乐鑫的音频3A算法（声学回声消除AEC、背景噪声抑制ANS、音频自动增益AGC）能够有效地降低双通道对讲时的噪声及回声。此次菊风和乐鑫联手打造的ESP-RTC音视频通话方案充分发挥了双方的技术优势，协同构建了AIoT实时音视频通话的场景化应用。

ESP32-S3作为乐鑫推出的Wi-Fi + Bluetooth 5 (LE) 双模AI SoC，除了常规的IoT应用，在音视频领域还广泛适用于智能可视门铃、可视猫眼智能门锁、家用视频门禁、智能音箱等多种家庭应用场景。ESP32-S3优越的 Wi-Fi 技术能够实现智能家居设备互联，它出色的 AI 性能也充分赋能客户进一步打造比传统智能家居更舒适、安全、便捷的智能家居生活空间。

以基于ESP32-S3的可视猫眼智能门锁解决方案为例，实时音视频技术赋能门锁通过内置的Wi-Fi模块实现视频通话。用户即使不在家中也能远程观察门前的情况，与访客进行音视频交互。该方案还集成了高清通话功能，能够弥补传统光学猫眼视线模糊的缺陷，为用户提供更准确的来访者信息，提升视频通话体验。

此次基于乐鑫ESP32-S3芯片打造的轻量级智能硬件音视频通话解决方案也是菊风在AIoT智能硬件领域一大进步。乐鑫ESP-RTC音视频通话方案也将助力更多AIoT开发者快速搭建语音/视频通话相关业务场景，构建更为丰富的AIoT场景化应用。