和 AI 说话时，你可能停顿几秒组织语言，也可能在它回答到一半时打断、改变主意。人通常能根据语气、停顿和上下文判断何时接话，AI 却未必。多人同时说话时，它还要分辨谁在说话、是否对自己说，以及是否需要回应。

 

随着语音与多模态模型的发展，AI 的实时交互能力不断提升。但要真正参与持续变化的对话，仍需解决交互时机、情境理解、自然表达与任务执行等问题。

 

10 月 23 日，在 iRTE2026 实时智能大会「对话式 AI 技术专场」中，来自西北工业大学、声网、香港中文大学（深圳）、Soul、阶跃星辰和美团的六位讲者，围绕实时语音交互中的情境理解、话轮管理、自然表达与任务执行等问题，分享了各自的技术探索与实践，圆桌环节由声网吴渤主持，邀请亮源新创徐广健、语音模型研究者谢之非、BreezeBlue 杨斌及 Soul 王新升，进一步探讨实时交互模型的架构选择、长期记忆、体验评测与产品落地。

谢磊｜从听懂声音，到理解时间与交互情境

 

 

 

大模型或许能总结半小时的录音，却未必能准确回答：某句话究竟出现在第几分、第几秒？

 

西北工业大学谢磊教授介绍了团队与小米合作探索的「全局时间线与局部重听」方法。这套方案先梳理长音频的整体时间线，再对局部片段重听，以辅助内容理解与时间定位。

 

他的另一项研究则针对声音事件的时间定位开展专项评测：在含背景干扰声和多次开关门声的录音中，一些模型能识别目标事件，却难以定位每次事件的起止时间。团队探索了结合监督微调与强化学习的结构化自校正方法，以改善时间区间预测。

 

在统一理解与生成方面，谢磊团队与小红书合作开发了 FireRedAudio。为兼顾理解所需的紧凑语义信息与生成所需的音色、韵律细节，FireRedAudio 在理解侧采用 Audio Encoder，生成侧采用 RedAE，并通过共享语言模型融合两类能力，支持音频理解、语音生成与编辑。

 

在语音生成方面，谢磊介绍了两项研究：

 

  • 零样本 TTS 通过偏好优化、在线强化学习、自蒸馏等后训练方法，探索在尽量保留参考音色的同时，根据目标文本调整韵律与风格；

  • Interactive TTS 则关注多轮对话中的情境变化，探索如何动态调整语音表达，同时保持音色一致性。

 

 

 

王泽源｜用户停顿了，AI 应该等待还是接话？

 

 

 

用户正在和 AI 讨论周末去哪里露营，希望目的地离市区近一点。AI 推荐了一处车程约 40 分钟的森林公园，但还没说完，用户突然打断：「等等，40 分钟太远了。」

 

这段对话看似简单，却要求 AI 判断何时倾听、等待、接话，以及何时停止回应，将话轮交还给用户。

 

声网音频算法专家王泽源介绍了人机语音交互从半双工、基于 Turn-taking 的双工交互，到全双工交互的演进。

 

基于 Turn-taking 的双工交互，核心是判断话轮何时切换。系统通过检测 SOS（Start of Speech）与 EOS（End of Speech）事件，判断发言起止。但 VAD（语音活动检测）只能检测人声活动，无法直接判断发言意图：背景人声、短促附和不一定意味着用户要开始发言，思考时的停顿也不代表发言结束。声网与谢磊团队合作开发了 FastTurn，融合文本语义与声学特征，实现低延迟 EOS 检测，减少过早接话或响应过慢的问题。

 

与依靠 SOS、EOS 事件切换话轮的方式不同，全双工模型尝试在统一时间轴上联合建模用户与 Agent 的语音流，持续感知双方状态，决定何时回应、等待、附和或打断。

 

王泽源在问答中指出，判断一句话是否对 AI 说，还需结合上下文与场景，不能只靠 SOS、EOS 检测；全双工模型也需要处理这一问题。

 

 

李明｜复杂多人场景下，如何分清说话人并提取目标声音？

 

 

 

在嘈杂的展会现场，机器人可能仍需借助近距离麦克风，才能较稳定地识别语音；而在多人点餐时，系统还需要分清是谁说了什么，避免混淆不同人的需求。香港中文大学（深圳）李明教授在分享中，介绍了多说话人语音识别、说话人日志与目标人声提取方面的研究：

 

  • 在线说话人日志： 系统需要知道谁在什么时候说话。 Speaker Diarization（说话人日志）的传统方法将音频分段，提取声纹后聚类， 但短片段声纹不足，长片段又可能混入多人声音；部分改进方法仍依赖离线处理。为支持实时交互，李明团队进一步探索了双解码器方案：一个解码器根据说话人特征判断其发言时间，另一个则根据发言区间提取声纹特征。两者交替更新，使模型能够支持在线处理。

  • 多线索建模： 音视频融合利用嘴唇运动等视觉线索辅助判断说话人，并在视觉缺失时尽量保持纯音频说话人日志的性能；多通道音频建模引入声源方向（DOA）等空间信息，减少对特定麦克风阵列结构的依赖。

  • 多人语音识别与目标人声提取： 前者需要将语音内容与不同说话人正确对应，后者则根据声纹或视觉线索，从混合语音中提取指定说话人的声音。

 

 

 

王新升｜为什么声音已经很自然，持续对话却仍有 AI 感？

 

 

 

语音合成模型虽能生成自然的单句语音，持续对话中仍可能出现语气平稳、表达缺少起伏，以及长时间生成后的音色漂移。Soul 洛希事业部负责人、Loxinity 联合创始人王新升在现场介绍了面向实时交互设计的语音合成模型 Loxi-Speech，其中包含：

 

  • 上下文建模：与传统主要根据单句文本生成语音的 TTS 不同，Loxi-Speech 将多轮对话与上下文纳入建模，让模型能够根据前后的交流内容调整表达方式。

  • 双轨流式生成： 团队基于连续声学表征，将文本输入与音频输出组织为两条独立的流式轨道。按子句流式生成往往需等待一定长度的文本，片段间也可能衔接不畅。双轨设计可在收到较短文本片段后启动音频生成，减少等待并改善衔接。

  • Self-forcing 训练： 原有训练使用真实音频特征作为历史条件，推理却依赖模型此前生成的结果。这种训练与推理条件的不一致，可能使生成误差随时间累积，进而造成音色或音质变化。为此，团队采用 Self-forcing 训练方法，让模型在训练阶段接触带有自身生成误差的历史条件，以提高长时间生成的稳定性。

 

演示涵盖了不同语境下的情绪表达、叹气和轻笑等非语言声音，以及语音与歌声之间的切换。但情绪控制并不意味着表达一定自然。问答中，有观众指出部分演示虽呈现了指定情绪，整句表达仍显生硬。王新升回应，语义与情绪存在关联，两者不匹配时，真人也很难自然演绎。

 

团队还探索了真实声音的征集、授权与开放使用等音色资产实践。

 

 

杨学锐｜实时交流与复杂推理，应该交给同一个模型吗？

 

 

 

阶跃星辰语音和交互模型负责人杨学锐介绍了下一代 Interaction Model 的架构探索。其核心思路是前后台分工：前台模型负责持续感知用户、及时回应和处理话轮变化，后台模型则承担复杂推理与任务执行。其中，Micro-turn 支持更细粒度的实时交互，Delegation 则将复杂任务交给后台处理。

 

这种分工也带来了上下文衔接的问题。前台模型可能接收包含语音特征的上下文，而后台主要处理文本，因此任务交接时需要保持上下文信息的一致性。

 

在 Personal Agent 现场演示中，用户先要求寻找周六上午 11 点左右、离家不远的餐厅，随后补充了携带宠物、用餐人数增至五人等条件。Agent 根据新增需求调整查询，并在对话中反馈座位确认、预订及消息发送的处理结果。

 

 

马占宇｜AI 说任务完成了，如何证明它真的完成？

 

 

 

即使 Voice Agent 告诉用户「退款已经帮你处理好了」，后台未执行退款，任务仍然失败。

 

美团技术专家马占宇 强调，Voice Agent 评测不能止于听懂问题与自然回答，还需要检查从理解需求、制定计划、调用工具到验证结果的完整执行过程。例如，航班改签需在查询和执行中保留航空公司偏好、费用上限，并随用户改口更新计划与工具参数。遇到表达不清或情绪变化，系统还需判断何时追问、确认，或停止自动执行并转交人工。

 

围绕 Voice Agent 的评测与优化，马占宇还介绍了团队在三个方向上的研究：

 

  • 推理优化： 推理时间更长，并不一定意味着结果更准确。团队尝试评估每一步推理是否真正减少了答案的不确定性，以区分有效推理与重复思考。这种优化也关系到计算成本与用户等待时间。

  • 记忆反馈： 团队研究如何验证记忆是否被正确写入、更新和调用，通过局部问答检查记忆操作，并尝试追溯最终回答所依据的记忆来源，为后续训练提供反馈。

  • 用户模拟器： 固定脚本难以覆盖真实用户的行为。团队探索用户模拟器，让 Agent 在训练和评测中面对变化的交互条件。

 

 

圆桌｜实时交互模型，距离真正可用还有多远？

在「实时交互模型的落地和探索」圆桌中，声网吴渤与亮源新创徐广健、VoiceMem 等语音项目研究者谢之非、BreezeBlue 杨斌，以及 Soul 洛希事业部负责人王新升，围绕实时交互模型的架构选择、长期记忆、真实体验评测和产品落地展开了讨论。

 

 

实时交互系统，如何在模型能力与产品要求之间取舍？

王新升介绍，Soul 曾尝试完全端到端的全双工交互模型，在闲聊、陪伴场景中效果不错。但在需要播放前审核和干预内容的产品中，直接生成语音的模型较难满足这一要求。相比之下，级联式架构在语音识别、内容生成与语音合成之间保留明确环节，更便于审核与纠错。他认为，两类架构各有适用场景，选择取决于产品需求。

 

杨斌则从交互智能的角度提出了另一项架构问题：系统不仅需要理解复杂语音场景、把握回应时机，还需要根据任务复杂程度，决定何时调用更强的推理能力。

 

徐广健则关注机器人语音输入的可靠性：部分端到端模型虽有较强的抗干扰能力，但在远场拾音、多人同时说话等场景下，仍可能依赖前端音频处理。端侧除降噪、回声消除外，还可识别声源方位、感知声学环境，为后端模型提供信息。

AI 记住了用户，下一次对话会有什么不同？

吴渤以旅行计划为例：AI 若记得用户此前的安排，下次便可询问旅行是否顺利，让回应与过去的经历建立联系。

 

在谢之非看来，记忆还可能影响 Voice Agent 后续回应的内容、语气与表达，使其更符合个人情境。

 

那么，这些记忆应该保存在模型内部，还是由外部系统管理？谢之非认为，两种方式并非非此即彼：用户画像等相对宏观的信息，未来可能适合内化到模型中；需要精确保存、更新和检索的信息，现阶段仍离不开外部记忆机制。至于更多记忆能力能否进入模型内部，还需要进一步探索。

模型指标很好，为什么真实体验仍然可能不好？

杨斌介绍，团队曾将语音克隆模型的音色相似度优化得很高，但客户使用的领先产品相似度未必更高，声音却可能更符合需求。单项指标难以完整反映体验：能否根据普通甚至带噪参考音频生成高质量声音，可能比单纯追求相似度更重要。

 

从单项指标转向真实交互，评测还面临场景覆盖与标准适用性的问题。

 

谢之非指出，真实对话的异常情况难以预设，不同 Agent 的设置与任务目标也有差异；小型研究团队的真实案例有限，更增加了建立统一标准的难度。

 

  • 完整系统评测： 杨斌的团队构建了 Real-time Harness，尝试从完整交互系统层面评估模型的交互能力与智能水平，寻找真正影响体验的瓶颈。

  • 真实物理场景评测： 徐广健介绍，团队正结合具身智能与机器人的需求，构建面向真实物理场景的评测基准。

  • 产品中的用户验证： 王新升介绍，Soul 将交互能力应用于已有的虚拟人产品，通过真实用户反馈和 A/B 测试，观察不同技术方案的实际表现。

实时交互走进产品，还要跨过哪些门槛？

当实时交互进入机器人、智能穿戴设备和个人助手等不同产品形态，技术能力的优先级也随之变化。

 

徐广健强调，机器人执行实际任务需衔接语音感知、决策与运动控制；王新升则讨论了个人 Voice Agent 与智能穿戴设备结合的可能性，让助手有机会持续获取日常上下文、适时提供帮助。

 

谢之非提醒，研发不能仅从模型能力推断用户需求：在 Voice Agent 使用习惯尚未形成时，过早追求极致拟人化，未必能解决产品最重要的问题。杨斌则从泛化性与可靠性两个维度讨论了产品落地的挑战。开放式交流需要模型应对丰富多变的情境，而任务范围明确的应用往往更看重执行结果的稳定性。

 

 

从听懂一句话到参与一场对话，AI 面临的挑战已不只是语音识别与生成本身。它需要在持续变化的情境中判断何时回应、如何表达、何时调用其他能力，并确保任务真正完成。

 

不同场景对这些能力的要求并不相同。无论是陪伴、个人助手还是机器人，实时交互技术最终都需要回到具体产品中，接受真实用户与实际任务的检验。

 

 

 

 

 

阅读更多 Voice Agent 学习笔记：了解最懂 AI 语音的头脑都在思考什么