MegaTTS 3 – 浙江大学与字节跳动联手新推出零样本语音合成系统

93 0

近年来，随着深度学习技术的飞速发展，文本到语音（TTS）合成技术取得了显著进步。

MegaTTS 3 是字节跳动推出的零样本文本到语音合成系统。它采用轻量级的扩散模型，将语音分解为内容、音色、韵律等属性进行建模，支持超高音质的语音克隆、双语合成、口音强度控制等功能，可应用于语音合成、语音编辑等场景。

MegaTTS 3是什么

MegaTTS 3是字节跳动与浙江大学合作推出的零样本文本到语音合成系统，采用轻量级扩散模型，参数量仅0.45B，能高效生成高质量语音。系统将语音分解为内容、音色、韵律等属性分别建模，支持中文、英文及中英混合语音合成，具备超高音质的语音克隆能力，几秒音频样本能模仿目标声音。支持口音强度控制等可控性功能。MegaTTS 3可应用于语音合成、语音编辑、跨语言语音合成等多个场景。

MegaTTS 3的主要功能

零样本合成：无需目标说话人的特定语音数据，通过少量提示即可生成其语音，实现快速语音克隆。
多语言支持：支持中文、英文及中英混合语音合成，满足不同语言场景需求。
高音质输出：生成的语音自然流畅，音质清晰，与目标说话人高度相似。
音色控制：可调整生成语音的音色，更接近目标说话人或添加特定音色效果。
韵律调整：支持对语音的韵律进行控制，如语速、语调等，让语音更具表现力。
口音强度控制：通过参数调整，可生成带不同口音强度的语音，模拟多种语言风格。
快速克隆：仅需几秒目标说话人的音频样本，可快速生成其语音，实现高效语音克隆。

MegaTTS 3的技术原理

轻量级扩散模型：MegaTTS 3 采用轻量级的扩散模型（TTS Diffusion Transformer），参数量仅为 0.45B，在保证高效的同时，能生成高质量的语音。扩散模型通过逐步添加和去除噪声来生成目标语音，核心包括前向过程（加噪）和反向过程（去噪），反向过程用于生成数据样本。
语音分解与建模：MegaTTS 3 将语音分解为内容、音色、韵律和相位等不同属性，为每个属性设计了合适的模块进行建模：
- 音色建模：使用全局向量（global vectors）来建模音色，因为音色是随时间缓慢变化的全局属性。
- 韵律建模：利用基于潜在码的语言模型（latent code language model）来拟合韵律的分布，因为韵律在句子中快速变化，语言模型能够捕捉局部和长距离的依赖关系。
- 内容建模：采用基于 VQGAN 的声学模型生成语谱图。
- 相位建模：相位由基于 GAN 的声码器适当构建，不需要语言模型对相位进行建模。
数据与训练：MegaTTS 3 在大规模多领域数据集上进行训练，包含 20K 小时的语音数据。使模型在零样本语音合成、语音编辑和跨语言语音合成任务上表现出色。
稀疏对齐算法：MegaTTS 3 引入稀疏对齐算法，提供稀疏对齐边界来引导潜在扩散变换器（DiT），在不缩小搜索空间的情况下降低对齐难度，实现高自然度。