本文最初发布于 OpenVoiceOS 博客
阿斯图里亚斯语(ast)和阿拉贡语(an)是西班牙北部社群所使用的罗曼语,这些社群几乎得不到任何商业语音技术的支持。想要语音助手的使用者只能用西班牙语——或者干脆没有。我们为这两种语言构建了 VITS TTS 模型,并将它们作为开放权重在 HuggingFace 上发布。
限制条件在于:Mozilla Common Voice 23.0 对于这两种语言来说都是多说话人的,而且规模相对较小。直接在这些数据上训练一个高质量的单说话人 TTS 模型并不可行。因此我们采用了一种混合方法。
缺口:没有 G2P
有一件事不会随着未来的模型升级而改变:阿斯图里亚斯语和阿拉贡语都没有可用的开放音素转换器。这些模型是直接在字素上训练的。音素转换器可以在运行时解锁 IPA 输入(强制标注名称、新词、语码转换的发音),并普遍提升一致性。如果你知道这两种语言现有的词典或发音数据,或者想合作构建一个,请与我们联系。
混合流程
完整的方法论收录在我们的 混合 TTS 数据集合成白皮书 中。简短版本如下:
-
源数据:Common Voice 23.0 — 阿斯图里亚斯语 和 Common Voice 23.0 — 阿拉贡语。多说话人,录音条件各异。
-
筛选:音频归一化、修剪静音、按每分钟词数剔除异常值。这一步很重要——来自语速过快或口齿不清说话人的转录会破坏对齐。
-
零样本重配音:语音转换模型接收经过筛选的多说话人音频和一段简短的供体语音片段,用供体语音重新合成所有话语。结果是一个连贯的单说话人数据集,采用一致的声音,规模与原始的多说话人来源相当。
-
通过 phoonnx 进行 VITS 训练:VITS 训练速度快,推理时无需 GPU 即可运行,所得模型可直接接入任何与 phoonnx 兼容的流程。
结果
“L’arcu la vieya ye un fenómenu ópticu y meteorolóxicu que produz l’apaición d’un espectru de lluz continu nel cielu cuando los rayos del sol trespasen pequeñes partícules de mugor conteníes n’atmósfera terrestre. La forma ye la d’un arcu multicolor col roxo hacia la parte esterior y el viola hacia la interior. El arco iris duble, ye menos avezau a vese, y tien los colores invertíos, esto ye, el roxo hacia dientro y el viola hacia l’esterior.”
下载:阿斯图里亚斯语 — dii(女声) 和 阿斯图里亚斯语 — miro(男声)
“L’arco de sant Chuan ye un fenomeno optico y meteorolochico que produce l’aparición d’un espectro de luz contino en o cielo cuan os rayos d’o sol trescruzan chicotas particlas d’humidat situatas por l’atmosfera terrestre. A forma suya ye a d’un arco multicolor con o royo en a parti exterior y o morau en a interior. No ye tan cutiano l’arco de sant Chuan dople, que incluye un segundo arco mas tenue con as colors chiratas, ye dicir o royo en l’interior y o morau en l’exterior.”
下载:阿拉贡语 — dii(女声) 和 阿拉贡语 — miro(男声)
这条流程得到了验证。发音并不完美——在没有音素转换器的情况下进行字素训练,意味着模型只能仅凭拼写模式来近似语音。现在所拥有的是一个可用的基线和一套可复现的流程。
下载这些模型并聆听上方的示例。如果你有阿斯图里亚斯语或阿拉贡语的发音数据、G2P 词典,或想在开放许可下贡献语音录音,请与我们联系——这些资源会直接改进下一次迭代。