VoxCPM2

概览

GitHub

VoxCPM2 是由 OpenBMB 开源的 Text-to-Speech（TTS）系统。它采用端到端的扩散自回归架构，直接生成连续语音表示，跳过了离散 tokenization 过程。 该模型参数量为 2B，基于 MiniCPM-4 骨干网络构建，在超过 200 万小时的多语言语音数据上训练，支持 30 种语言及多种中文方言（如四川话、粤语、吴语等）。 ### 主要能力 - **多语言合成**：输入 30 种支持语言中的任意文本即可直接合成语音，无需添加语言标签。 - **语音设计**：仅通过自然语言描述（如性别、年龄、语调、情感、语速等）即可创建新声音，不需要参考音频。 - **可控声音克隆**：通过短参考音频片段克隆声音，并可通过风格引导控制情感、语速和表达方式，同时保留原始音色。 - **极致克隆**：提供参考音频及其文本转录，模型可从参考音频无缝续写，保留音色、节奏、情感和风格细节。 - **48kHz 高质量输出**：接受 16kHz 参考音频，通过 AudioVAE V2 的非对称编解码设计直接输出 48kHz 录音棚级音质，内置超分辨率功能，无需外部上采样器。 - **上下文感知合成**：根据文本内容自动推断合适的韵律和表现力。 - **实时流式推理**：在 NVIDIA RTX 4090 上 RTF 低至约 0.3；使用 Nano-vLLM 或 vLLM-Omni 加速后可降至约 0.13，并提供兼容 OpenAI 的 API。 ### 使用方式 项目提供 Python API、CLI 以及 Web Demo。安装要求为 Python ≥ 3.10（<3.13）、PyTorch ≥ 2.5.0、CUDA ≥ 12.0。可通过 `pip install voxcpm` 安装，模型权重也可从 Hugging Face 或 ModelScope 下载。 ### 适用人群 适合需要多语言语音合成、定制化声音设计或高保真声音克隆的开发者与研究人员。代码与权重采用 Apache-2.0 协议发布，允许免费商用。

Q&A

VoxCPM2 支持哪些语言？由 AI 生成

支持 30 种语言，包括阿拉伯语、中文、英语、法语、德语、日语、韩语、俄语、西班牙语等，以及四川话、粤语、吴语、东北话等多种中文方言。

如何在不提供参考音频的情况下设计新声音？由 AI 生成

在调用 generate 方法时，将自然语言描述放在 text 参数的括号内开头处，例如 "(A young woman, gentle and sweet voice)Hello"，模型会根据描述生成对应声音。

运行 VoxCPM2 需要什么环境依赖？由 AI 生成

需要 Python ≥ 3.10 且 < 3.13，PyTorch ≥ 2.5.0，CUDA ≥ 12.0。可通过 pip install voxcpm 安装。

VoxCPM2 可以商用吗？由 AI 生成

可以。VoxCPM2 的代码和模型权重均采用 Apache-2.0 许可证发布，允许免费用于商业用途。

VoxCPM2 的推理速度如何？由 AI 生成

在 NVIDIA RTX 4090 上 RTF 约为 0.3。如果使用 Nano-vLLM 或 vLLM-Omni 进行加速，RTF 可降至约 0.13。

模型参数量和训练数据规模是多少？由 AI 生成

VoxCPM2 是一个 2B 参数量的模型，基于 MiniCPM-4 骨干网络，在超过 200 万小时的多语言语音数据上训练。