C17官方网站-C17(中国)-Agent 进化论：从对话到协作

人与 AI 的沟通正于变患上愈来愈像人与人之间的沟通。

一名店员用 AI 建造门店宣传视频时，再也不把需求列成一段很是过细的 Prompt 发给 AI，然后等候它返回成果；而是直接开启一个与 AI 的对于话，告诉它“帮我剪一条今天新品上架的视频”，然后经由过程持续对于话敲定使命的详细细节，就像与人类剪辑师同样。

一样的环境已经经发生于许多详细场景中。一些步伐员于通勤或者溜达时会用语音及 Agent 会商一个功效该怎么设计，怎样实现；有效户于玩游戏时，会不停与 AI 游戏助手沟通此刻应该做哪些使命，当前的关卡还有有哪些道具没有网络……

进入 Agent 时代，AI 再也不只是输入框另外一真个相应体系，而是最先进入需求会商、方案判定及使命履行的全历程。这类脚色变化，也让音视频对于话成为愈来愈多人与 Agent 交互的重要方式。

数据显示，豆包 App 于本年一季度的音频用量环比增加约200%，视频用量增加约350%；近一年来的音视频模子日均 Token 耗损已经经到达千亿级别。遐想天禧 AI 看世界功效从2025年8月上线到2026年5月，人均对于话轮次晋升至刚上线时的1.65倍，是传同一问一答主对于话的3倍。

当愈来愈多的人把与 Agent 的重要沟通方式从打字切换到视频或者语音，多模态对于话就极可能会成为人与 Agent 协作的重要交互界面。语音、视频、屏幕同享及情况信息城市成为这个界面的一部门。用户再也不只是“输入问题”，而是于一个连续的上下文中，让 Agent 理解使命、增补信息、挪用东西并介入履行。

但要真正实现这一点，对于多模态交互能力的要求就不克不及只是“能听见声音”或者“能瞥见画面”，而是要具有靠近人的沟通能力，同时做好听觉、视觉、影象及用意四项能力。只有当这些能力同时建立，多模态对于话才会从一种输入方式，进级为支撑使命判定、方案形成及履行推进的协作机制，撑持 Agent 完成从东西到伙伴的进化。

1、从等候指令到介入会商

多模态交互真正转变的，不只是用户向 Agent 发出指令的方式，而是 Agent 进入使命的时间点。

于人与人的协作中，许多需乞降谜底其实不是一最先就完备存于。往往先是有一个恍惚的设法，然后于各人会商中不停被追问细节，联合场景、资源及方针不停增补信息，终极才被沉淀成一个清楚的履行方案。

此刻，人与 Agent 的沟通也最先从一次性发出指令，转向于多轮交流中澄清需求、形成方案。这是多模态交互转变协作方式的要害。

起首，它降低了人与 Agent 沟通的门坎。

对于许多人来讲，用一段文字向 AI 提需求是一个看似简朴、现实上很难的问题。用户需要知道怎样描写配景、方针、限定前提及指望成果，也需要提早预判模子可能会曲解之处。Prompt 写患上不完备，成果就会误差；想把 Prompt 写清楚，又需要支付必然的时间及精神举行思索、进修。

多模态交互让用户可以用本身最习气的方式表达需求，不需要进修怎样写好 Prompt，甚至也不需要把握专业东西及术语。于开首提到的用 AI 建造门店宣传视频的场景中，店员与 Agent 协作时，就只需要想大白本身要甚么样的结果，没必要再酿成一个既懂技能又懂营业的多面手。

其次，于人与 Agent 的充实会商中，问题的上下文能被更完备地还有原。

当前许多使命的挑战不于履行，而于没有充实向 Agent 澄清需求。特别是编程、设计、办公、内容出产等场景，用户一最先往往只有一个标的目的，而不是一份完备需求文档。

假如 Agent 只吸收一个静态 Prompt，它只能基在有限信息直接履行；假如能经由过程多模态交互及用户重复会商，它就能够追问要害前提、澄清恍惚表达、补全上下文，于理解方针、约束及实现路径的基础上，进入履行环节。

例如，于 Vibe Coding 场景中，Agent 的价值不只发生于写代码这一刻，而是更多表现于需求会商及方案澄清阶段。TRAE Work “语音会商”功效的数据显示，用户平均每一通对于话与 Agent 交互17轮；60%的对于话属在摸索发散型；70%的对于话用在方案会商，只有30%用在代码天生。

末了，多模态交互也切合人类事情重心从履行到监视的转移趋向。

跟着 Agent 能力继承加强，用户会愈来愈少地亲自履行详细步调，而是转向监视及保障 Agent 履行使命的效果。将来许多事情甚至再也不需要人一直守于屏幕前，而是由 Agent 连续推进，于碰到不确定、需要判定或者需要授权的环节时，再提示人参与。

如许的事情状况下，语音及视频会成为更天然的监视及参与方式。人于通勤路上，可以用语音及 Agent 会商方案；可以经由过程屏幕随时不雅察 Agent 的履行状况及成果；也能够打开摄像头，让 Agent 联合现场画面给出新的判定。

是以，多模态对于话的价值不只是让用户少打字，而是转变了 Agent 进入使命的阶段：它从成果天生环节前移到需求形成、方案会商及履行监视环节。

2、类人沟通，迈向人与 Agent 协作的要害进化

Agent 的多模态交互能力让人没必要始终待于传统操作界面里，也能共同其完成事情。这需要于四个方面举行加强：

第一是听觉，方针是于真实情况中包管 Agent 能与人举行顺畅、高效的沟通。

真实世界的声音情况远比试验室繁杂。用户可能于地铁、咖啡厅、办公室、户外情况中及 Agent 对于话，情况里往往有反响、噪音；还有可能面临多人沟通场景。对于人来讲，咱们可以天然区别“谁于跟我措辞”“哪句话与我有关”；但对于 Agent 来讲，这需要依靠声学及语义体系实现。

火山引擎为晋升 Agent 的多模态交互能力，碰面向 Agent 优化反响消弭、基在声纹辨认的降噪，以和声学及语义的结合理解。

传统反响消弭会更存眷人耳的听感，但 Agent 更于意语音辨认的完备性，是以需要于压抑反响的同时，掩护主讲人的声音频谱。声纹辨认则可以帮忙 Agent 锁定主讲人，削减旁人措辞带来的滋扰。声学及语义的结合理解，可让 Agent 知道这句话是否是对于它说的。

只有 Agent 能不变听清用户、理解用户，用户才会愿意用天然语言连续及它交流。这对于终端场景特别主要。遐想天禧 AI 看世界的利用场景包括了办公、户外、看球、健身、通勤等真实情况。借助火山引擎的听觉能力，遐想将自由打断、低延迟相应及高拟真音色打造成为了 AI 看世界的体验亮点。

第二是视觉，可让 Agent 及用户同享统一个问题现场。

遐想天禧 AI 看世界买通了及时对于话、屏幕同享及摄像头同享三种模式。用户可以于 Excel 里问“这几个单位格怎么归并”，也能够让 AI 评价本身今天的穿搭，让 AI 陪本身看剧、估算食品热量。

实现这类视频理解体验的难点不是让 Agent 看到更多画面，而是让它看到更有用的画面。持续视频里有年夜量反复帧、恍惚帧及低价值信息，假如全数送入模子，会带来成本及延迟压力，也会影响理解效率。

是以，办事 Agent 的多模态交互需要于端侧晋升收罗质量，于云端具有要害帧优选、智能抽帧能力，并能具有选择性留意力。

此中，选择性留意力是火山引擎推出的让 Agent 能举行类人沟通的要害能力之一。它能让 Agent 于处置惩罚持续画眼前，先按照用户的用意去创立一个及时视觉理解使命，带着方针去看视频。好比，于办事球赛场景时，Agent 应该能经由过程球衣号码鉴别出对于应的球员，进而确认需要追踪哪位球员的场上动作。

第三是影象，决议了 Agent 与人可否超过单次会话，实现真实的互助。

真实的类人沟通不是只理解当前一句话，而是能记住已往发生了甚么，及用户之间发生过甚么。好比用户问“适才午餐热量高吗”，Agent 需要回忆起此前看到的食品画面。如许的交流才会更靠近人与人之间的相处状况。

火山引擎为多模态交互构建了三层影象系统：第一层是加强上下文，卖力将多模态解析出来的画面焦点主体类型、时空位置、举动动作等信息布局化，作为上下文提供应 Agent；第二层是短时间影象，记载几分钟前看到的画面或者听到的声音；第三层是持久影象，抽象及记载用户持久交互中的要害举动、习气特性及主要事务。

详细实践中，遐想天禧 AI 会据此搭建跨端、跨会话、跨场景的影象系统。这套影象体系不只办事在主对于话，也会接入 AI 看世界，并笼罩 PC、Phone、Pad 多端。用户不管经由过程文字、语音还有是视频交互，影象均可以被沉淀下来，并于下一次会话中被挪用。

这会让 Agent 再也不只处置惩罚单次哀求，而是最先沿着用户的糊口及使命脉络连续堆集上下文。

第四是用意，解决 Agent 可否介入使命界说的问题。

人类沟通中，年夜量信息其实不会被明确说出。用户说“帮我做一个权限治理体系”，真正主要的问题多是：权限按脚色分配还有是按部分分配？是否需要审批？是否有治理员层级？是否要及现有体系买通？一个只会履行的 Agent 会马上最先天生成果；而一个更靠近协作者的 Agent，则会自动追问要害约束，把恍惚需求酿成可履行方案。

听觉解决“听见谁”，视觉解决“瞥见甚么”，影象解决“记患上哪些上下文”，用意解决“到底要完成甚么使命”。四项能力配合组成了 Agent 从对于话走向协作的基础。这也是火山引擎的多模态交互能力区分在传统问答之处。它能于持续沟通中理解用户真正想完成甚么，并告竣协作共鸣。

3、当多模态对于话成为通用协作界面

多模态交互终极不会只是某个 App 里的一个功效模块，而会酿成通用的 Agent 使命界面。

已往，语音、视频、照相辨认、屏幕同享往往是分离功效。用户需要于差别进口之间切换：想语音就打开语音模式，想辨认图片就上传图片，想让 AI 理解屏幕就截图。将来，这些能力会交融成一个连续感知、连续协作的 Agent 进口，用户可以随时切换模态与 Agent 沟通，依赖 Agent 挪用东西完成协作使命。

遐想天禧 AI 看世界已经经于终端侧展示了这类趋向。它不是零丁增长了一个视频通话功效，而是把火山引擎提供的 RTC/AgentRTC、端到端语音、TTS、ASR、Seed 年夜模子、视觉理解、多模态传输等能力，与遐想天禧 AI 自身的会话治理、影象治理、跨端同步、人设治理、场景编排、上下文路由联合起来，再出现于 PC、Phone、Pad 等装备上。

这象征着，及时对于话正于从“打德律风模式”变患上越发通用，逐渐嵌入到东西、内容及实际场景中。

AI 眼镜之以是被认为是将来的要害硬件产物之一，就是由于它自然靠近人的视角，可以连续吸收声音、画面及情况信息，是为“随时可见、随时可说、随时可协作”的 Agent 预备的抱负载体。

当 Agent 能听、能看、能记住、能理解用意，用户就能够经由过程 AI 眼镜如许的伴身硬件与其成立更天然的接洽，使用天然语言及视觉信息操控其完成实际中的使命。好比看到一台装备，可以直接扣问异样缘故原由；于生疏情况中，也能够让 Agent 联合面前画面举行注释，提供步履建议。

这类交互闭环自己就是一个适配 Agent 的通用操作界面，承载着将来人与物理世界的互动。

它会很是靠近人们于影视作品中看到的钢铁侠的贾维斯，或者者高智能方程式赛车里的车载电脑。它们其实不是被动等候指令的东西，而是连续理解情况、记住用户、当令参与、协助履行使命的伙伴。

这类协作方式也会进一步举高多模态交互技能的天花板。已往 AI 产物比的是模子能力及使命效率，将来还有会比谁更靠近用户的真实利用现场，谁能让用户更天然地连续交流、连续信托、连续协作。对于 Agent 来讲，下一代进口可能不只是一个运用，也不只是一个硬件，而是一套缭绕多模态对于话成立起来的协作体系。