C17官方网站-C17(中国)-豆包视频通话背后，火山引擎重构 Agent 时代多模态传输底座

导语：豆包的视频通话之以是深受用户喜爱不是由于简朴“增长了摄像头”，而是由于多模态传输让AI从东西酿成了更靠近“于场者”的脚色。

对于通用 Agent 来讲，多模态交互正于成为一项能年夜幅晋升用户体验的要害基础技能。

已往，用户及 AI 的交互更可能是输入文字、上传图片，然后等候回覆。此刻，家长但愿可以直接把镜头瞄准孩子正于做的标题问题，让 AI 一步步解说；于穿搭建议、视障人群视频导航等场景里，用户也但愿 AI 再也不是一问一答，而是于整个使命历程中连续谛听、对于话。

这类变化提高的不只是功效富厚度，还有有效户与 AI 成立毗连的频率及深度。

火山引擎智能视频技能卖力人裴志伟于分享中提到，视频通话等多模态场景“极年夜地拓宽了技能方案的普适性，带来了更多的想象力”，同时也帮忙豆包得到了更多流量，“险些是于没有做太多投放的环境下，营业范围翻了10倍，从万万级DAU酿成了亿级DAU”。

这类多模态体验不是模子能力零丁决议的。用户打开摄像头及麦克风后，真正影响体验的还有有传输质量——毗连是否充足快，弱网下是否不变，音画是否同步，用户打断可否被和时相应，以和模子可否于准确时间拿到准确的信息。

也是以，海内的豆包及海外的 ChatGPT，都于构建让 AI 与人天然沟通的更成熟技能底座。

OpenAI 于7月8日推出了新的 GPT-Live，将持续对于话与更深切的搜刮、推理及智能体使命解耦，打造了一个相对于自力的、低延迟、可打断、可连续的多模态信息交互层。更早举办的2026火山引擎 FORCE 原动力年夜会上，火山引擎也先容了暗地里支撑豆包举行及时多模态交互的多模态传输体系（MMT）。

终极，火山引擎及 OpenAI 要解决的，都不是纯真的音视频机能问题，而是怎样为 Agent 时代搭建一套支撑年夜范围、多场景、低延迟、可打断、可同步的多模态传输体系。

音视频传输技能不敷用了

火山引擎及 OpenAI 于先容本身的多模态交互技能时，都提到了传统音视频传输技能与 Agent 时代的多模态交互需求存于落差。

详细来看，豆包不是一最先就选择攻关繁杂的视频通话问题，而是从相对于简朴的语音交互最先举行摸索。

WebSocket 是开始当选择的技能方案。它简朴、尺度、撑持全双工及长毗连，也有不错的穿透性。对于在其时聚焦语音交互体验的豆包来讲，先用这个技能把用户及模子毗连起来，验证标的目的的有用性，比直接搭建一套繁杂音视频体系更主要。

但 WebSocket 很快就不敷用了。WebSocket 的弱网体验差，会呈现视频丢包、延迟不成控等问题，直接影响了模子的反映及回覆效果。裴志伟先容，于一样平常运用中，延迟抖动跨越1秒，模子吸收到的信息就会变形，造成回覆掉真或者直接不回覆。

为相识决弱网优化问题，豆包引入了 QUIC 方案。比拟 WebSocket ，QUIC 于弱网恢复、多路复用及毗连迁徙上更合适挪动端场景。QUIC 的引入，让豆包于耳机、车载、呆板人、智能眼镜等更多路、更繁杂的场景中，也能实现不变高效的传输。

当豆包最先把视频通话作为重点能力设置装备摆设时，QUIC 也不克不及满意需求了。这时候候就要上 WebRTC。WebRTC 能做到超低时延，端到端延迟能比 QUIC 优化10%；同时还有具有完备的视频链路能力，内置音视频编解码、反响消弭，也有阅读器原生撑持。这些能力配合组成了一个直不雅体验：豆包反映更快，能被天然打断，声音及画面更靠近真人交流。

可是，WebRTC 也不是面向AI交互的多模态传输的最优解决方案。火山引擎判定这种多模态传输体系多是今朝最繁杂或者范围最年夜的 RTC 体系，可能有此前 RTC 需求的100倍到500倍的办事体量。这类亿级用户、永劫间于线及高频挪用的AI场景会不停放年夜成本及不变性压力。

此外，于人与人通话中，音视频内容是定时间持续孕育发生的，体系要做的是只管即便不变地把一端传到另外一端。但 AI 交互中，模子可能于短期内集中天生年夜量内容，用户也可能随时打断、追问、切换画面。多模态传输链路要做到及时中的异步，提早缓存，削减加载时间。

更焦点的不同于在，传输链路的方针变了。人与Agent交互寻求的是模子能于准确时间拿到最有价值的信息。用户问屏幕上一行小字时，继承传一段低码率视频未必是最优解，更合理的方式多是要触发高清图、抽帧或者局部加强，让模子先看清问题自己。

WebSocket、QUIC、WebRTC虽然于差别阶段解决了豆包的实际问题，但难以零丁支撑将来范围更年夜、场景更繁杂的及时多模态交互需求。

重构及时多模态传输链路

豆包需要一套面向AI交互的多模态传输链路。这个链路建联要更快，最佳从秒级压到数百毫秒；端到端延迟要对于齐RTC，不克不及由于体系革新捐躯用户体验；弱网体验要更不变，顺应挪动、出境、地铁、电梯等繁杂场景；同时还有要支撑亿级并发，并把持久成本节制于可接管规模内。

为此，火山引擎选择使用 C/S 架构来搭建这套体系来撑持繁杂的收集传输计谋、传控计谋、播控计谋；面向多模态传输的多模态会话体系；以和交互能力的进一步拓展。

详细实践上，火山引擎于客户端没有彻底推倒已往的音视频能力，而是把成熟的收罗、编码、反响消弭等能力保留下来，同时把最底层的收集库换成 QUIC库，增长弱网恢复、多路复用及毗连迁徙能力。如许一来，用户侧的声音及画面可以更快、更稳地被传送出去。

传输层则基在MoQ和谈实现了更好的会话节制。面向AI交互的多模态传输还有要判定差别模态之间的瓜葛。哪一起音频要优先，哪一帧视频更值患上送给模子，哪些内容需要靠得住传输，哪些内容可以为了低延迟做弃取，这些都再也不是纯真的收集问题，而是会话节制问题。MoQ信令上会有分层的逻辑单位撑持更邃密的会话节制。

于办事侧，网关最先负担更要害的脚色。用户传来一句话，网关可以选择是否直接送往模子；用户打开摄像头，网关需要判定是否需要抽帧、是否需要高清图、是否要联合模子反馈转变处置惩罚计谋。于这个环节中，火山引擎引入了 MediaKit 同源的处置惩罚算法，让其办事在及时的传输场景。

今朝，这套体系已经经最先于豆包中落地。近期更新过豆包的用户，已经有相称一部门最先利用新的多模态传输链路。这象征着，这套面向AI交互的多模态传输链路已经经进入真正的 C 端高并发场景，而不是只于内部测试中验证。

火山引擎会继承将这套于豆包内部跑通的新体系，输出给更多客户：需要一站式办事的客户，可以直接得到多模态交互Agent；但愿保留 Agent 定制空间的客户，可以得到 Agent 先后处置惩罚能力；自身有较强音视频处置惩罚能力及高度定制化Agent需求的客户，可以直接采购多模态传输及基础处置惩罚能力。

火山引擎不是简朴把豆包的视频通话能力外溢出去，而是把一套被真实高并发场景验证过的多模态传输能力，拆成及时传输收集、传输SDK、传输网关、处置惩罚网关等差别模块。对于内部，它能支撑豆包的多模态体验；对于外部，它让差别开发深度的AI运用，都能按需接入及时多模态能力。

多模态传输成为 Agent 时代新底座

这也象征着，豆包的视频通话只是一个前台进口。火山引擎于豆包超年夜范围 C 端流量及自身产物化能力之间，快速沉淀了一套本身的多模态传输体系，然后经由过程豆包真正验证了这套体系可否于真实流量、繁杂收集及高频交互中跑通。

火山引擎这套多模态传输体系的意义不仅限在体验的晋升。久远来看，多模态传输极可能会从通讯管道，酿成 Agent 时代的人机交互技能底座。

已往两年，年夜模子竞争更多缭绕参数、推理、上下文、多模态理解能力睁开。行业评价AI 能力的主要坐标往往是谁能回覆更正确，谁能推理更繁杂，谁能理解更长上下文。但当 AI 从谈天框走向更多真实场景，包管体验下限就会变患上一样主要。

没有不变、低延迟、低成本的多模态传输能力，再强的模子也很难进入高频、永劫、挪动化、硬件化的真实场景。用户不会体贴底层和谈是甚么，但能感知到模子是否真的“跟上了本身”。假如一个 AI 能理解世界，却老是慢半拍进入现场，它很难成为高频进口；假如一次持续会话成本太高，它也很难成为随时可用的基础能力。

模子决议智能上限，传输决议体验下限。这是对于 AI 产物化的硬约束。正因云云，火山引擎、OpenAI等公司都于构建新的多模态传输技能底座。

OpenAI 最新推出的 GPT-Live 可以将使命交给另外一个模子，同时本身继承维持对于话。这类架构变化的素质，是把“天然交互”及“深度智能”拆成两个协作层：前者卖力低延迟、连续、可打断；后者卖力繁杂使命及更强推理。

只管 GPT-Live 发布早期还没有把语音与视频或者屏幕同享彻底联合，但它下一步显然是要把语音、视觉、屏幕及东西挪用纳入统一个及时会话体系。用户与 AI 的瓜葛，也是以会从使命式查询，酿成更持续的陪伴式交互。

这类毗连频率、深度的晋升，是豆包及 ChatGPT 配合寻求的将来。豆包的视频通话之以是深受用户喜爱不是由于简朴“增长了摄像头”，而是由于多模态传输让AI从东西酿成了更靠近“于场者”的脚色。

跟着 Agent 竞争继承从模子能力延长到工程能力，行业会需要一套完美的 AI 原生基础举措措施。从这个角度看，火山引擎于多模态传输上的投入，不只是为豆包补齐一条技能链路，而是于为 Agent时代举行底层基建。

当 AI最先及时进入真实世界，谁能持久、不变、低成当地支撑这类交互，谁就更靠近下一代 AI运用的基础举措措施位置。

-C17官方网站-C17(中国)