摘要: 清华大学和字节跳动共同研发的SALMONN是一款多模态语言模型，为GPT-4赋予了听觉能力。它可以识别多种音频输入，具备多语种语音识别和翻译以及音频-语音联合推理的强大功能，宛如给GPT-4装上了一双耳朵。本文详细介绍SALMONN的工作原理和特点。
清华大学和字节跳动合作推出的SALMONN代表了多模态语言模型领域的一项重大突破，它赋予了GPT-4以听觉能力，成为一个具有多种语音和音频处理功能的大型语言模型。SALMONN的功能相当于为GPT-4装上了一双耳朵，使其能够处理各种音频输入，包括语音、音乐以及周围环境的声音，如汽车喇叭或鸟鸣。
SALMONN的工作原理包括以下特点：
1. 多模态能力: SALMONN不仅可以理解人类说话的声音，还能分辨和处理音乐和其他周围声音的内容。这意味着它能够在多样的声音环境中运作，从而扩展了其应用范围。
2. 高级编码器集成: SALMONN使用了两种先进的编码器，分别是Whisper（用于语音）和BEATs（用于非语音音频），以捕捉各种类型的音频信息。这使得模型能够更全面地理解和处理不同类型的声音数据。
3. 窗口级Q-Former: 这一模块起到了特殊的连接器的作用，它整合了来自不同编码器的信息，生成一个一致的音频令牌输入，以供大型语言模型理解并输出答案。它就像一个“翻译器”，将两个“超级耳朵”听到的信息合并在一起，从而实现对音频内容的深度理解和回应。
SALMONN的推出将为语言模型的发展带来重大影响，为AI系统赋予更广泛的感知能力，拓展了其应用领域，包括语音识别、音频内容理解、翻译等。这一创新代表了清华大学和字节跳动在多模态AI领域的领先地位，为未来的AI研究和应用提供了更多可能性。通过为GPT-4添加听觉能力，SALMONN有望提升AI的交互性和实用性，同时也为语音相关应用的发展开辟新的前景。