Train Short, Infer Long: Speech-LLM Enables Zero-Shot Streamable Joint ASR and Diarization on Long Audio

该研究提出了一种端到端的语音大语言模型（Speech-LLM）JEDIS-LLM，用于实现流式联合自动语音识别（ASR）与说话人日志（diarization），解决“谁说了什么”的多说话人场景理解问题。模型仅在时长不超过20秒的短音频上进行训练，却能够零样本迁移至任意长音频的流式推理，无需额外训练或微调。为应对长音频中跨片段的说话人身份不一致问题，研究引入了带有在线更新机制的说话人提示缓存（Speaker Prompt Cache, SPC），受大语言模型自回归特性的启发，在分块流式推理过程中通过缓存历史说话人的代表性语音及其转录文本，作为当前块推理的上下文提示，从而保持说话人标签的一致性。此外，SPC支持无缝集成预注册的说话人档案，适用于会议转录等实际场景。为了增强模型的说话人区分能力，训练阶段在语音编码器中引入词级别的说话人监督信号，而非传统的帧级分类损失，以提升编码器对说话人身份的建模能力。实验结果表明，该方法在本地短音频设置下优于Sortformer和Meta-Cat等强基线，在长音频全局设置下也显著超越采用级联离线流程的DiarizationLM，同时保持完全端到端和流式处理的优势。据作者所知，这是首个利用仅在短音频上训练的Speech-LLM实现零样本、可流式的长音频联合ASR与日志化的工作，并取得了当前最优性能。