metaRTC8.0,一个全新架构的webRTC SDK库

metaRTC 2024-07-01 09:03:02 阅读 70

概述

metaRTC8.0是metaRTC开源以来架构变化最大的一个版本,是metaIPC3.0等高性能的基础。

metaRTC8.0是一个全新架构版本,并非在metaRTC7.0版本上简单升级,在QOS/语音对讲/内存占用/视频文件录制读取等方面新增多个模块,在弱网对抗/语音对讲/内存优化等效果上有显著提升。

metaRTC8.0在一年多的开发中进行了近200次迭代,metaRTC8.0社区版计划在2025年中推出,敬请期待!

New Feature

新增模块都是纯C实现,都在libmetartccore8工程里。

YangIce

YangIce实现了webRTC ICE FULL-ICE,更适合在公网跨网建立连接。

采集candidates交互candidates生成candidate pairs连通性检测connective check提名candidate pair

YangPushData

YangPushData采用零拷贝技术,减少了大量memcpy操作降低连接占用内存效果显著,如IPC新增连接占用内存不超过20KB是YangPacer模块的数据基础

YangFile视频文件录制与读取

纯C实现,不依赖任何第三方库支持H264/H265/OPUS/G711/AAC视频录制和读取YangFile/YangPacer实现视频文件推流和webRTC点播

YangTls加密模块

YangTls实现了TCP Tls加密功能实现了HTTPS/MQTT/Socket加密传输

YangTwcc(Transport-wide Congestion Control)

Twcc是一种新的拥塞算法Sendside BWE的基础Sendside BWE是webRTC多年实践证明优秀的择优选择的拥塞算法YangTwcc模块可以取得丢包和时延等数据,是带宽估算的数据基础

YangBandWidth带宽估算

Sendside-BWE基于发送端估算YangBandWidth模块取得rtt(round-trip time)rtt和YangTwcc模块的丢包和时延等数据估算出网络拥塞状况数据

YangPacer模块

参考YangBandWidth取得网络拥塞状况数据调整发送速率YangPacer模块可以将推流视频数据均匀的发送出去webRTC文件点播参考时间戳和网络状况均匀发送出去视频FEC(开发中)

YangCodec编码控制模块

动态帧率调整动态码率调整动态分辨率调整大小流智能适配参考YangBandWidth取得网络拥塞状况数据采用上面策略

YangNetEQ模块

NetEQ模块降低网络抖动对音频传输的影响,确保平稳流畅的通话体验

YangJitter 降低网络抖动对音频传输的影响YangPLC 丢包补偿技术YangFec Opus自带FEC,G711 FEC(开发中)

YangAudioProcess模块

YangAec回声消除YangAgc自适应增益控制YangAns背景噪音抑制​YangVad语音动态侦测YangCng舒适噪音生成纯C实现,不需要第三方库

 YangAec回声消除

 YangAec会监测扬声器和麦克风拾音器输入之间的回声,并使用算法来抵消回声信号,避免出现回声和延迟以提高语音对讲质量。

YangAec *aec;

//aecLib 1:webrtc aec 0:speexdsp aec 2:内置AEC或其他AEC实现

yang_create_rtcaec(session->;aec,aecLib);

aec->echoPlayback(aec->session,pcm);

aec->echoCapture(aec->session, input, pcm);

YangAgc自适应增益控制

YangAgc可以自动检测音频信号强度和自动调整输入和输出音频信号的音量,防止音频音量忽大忽小,保证音频采集和播放的稳定性。

YangAgc* agc;

agc->agcProcess(agc->session,pcm);

YangAns背景噪音抑制

YangAns可探测出背景固定频率的杂音并消除背景噪音,例如:风扇、空调声等杂音会自动滤除,使声音更清晰。

YangAns* ans;

ans->preprocess_run(ans->session,pcm);

YangVad语音动态侦测

YangVad算法的作用是检测是否是人的语音,可作为其他音频处理的参考。

YangVad* vad;

vad->voiceActivity(vad->session,pcm,frameSize,sampleRate);

YangCng舒适噪音生成

YangCng是一个在对讲过程中出现短暂静音时用来为对讲产生背景噪声的模块,常用在VAD检测没有人声时处理。

YangCng* cng;

cng->voiceGenerate(cng->session,pcm,frameSize,sampleRate);



声明

本文内容仅代表作者观点,或转载于其他网站,本站不以此文作为商业用途
如有涉及侵权,请联系本站进行删除
转载本站原创文章,请注明来源及作者。