このブログはもともと OpenVoiceOS ブログに掲載されたものです。
欧州ポルトガル語向けの優れたオフライン TTS 音声は存在しませんでした。スタジオ収録はコストがかかり、数か月を要します。そして世界のほとんどの言語では、そうした収録が一度も行われていません。そこで私たちは、収録ブースも声優もクラウドも使わず、4 つの音声をゼロから構築しました。
3 段階のパイプライン
1. 合成音声ペアを生成する。 既存の TTS 音声をドナーとして使用し（聞き取れる音声を生成できるものであれば何でも構いません）、それを大規模なテキストコーパスに対して実行して、数千の音声／テキストペアを生成します。ドナー音声は高品質である必要はありません。学習に足るだけの一貫性さえあればよいのです。
2. 音声変換を適用する。 音声変換の段階で、ドナーの音色を新しいアイデンティティ（異なる性別、年齢、キャラクター）へと変換します。結果として得られる音声は、ドナーではなくターゲットの音声のように聞こえます。ここで新しい人格が誕生します。
3. コンパクトな VITS モデルを学習する。 変換された音声が、phoonnx_train を介した小規模な VITS アーキテクチャモデルの学習セットとなります。完成したモデルは ONNX にエクスポートされ、完全にオフラインで動作します。必要であれば Raspberry Pi 上でも動きます。
倫理的なガードレール
ドナーが実在の人物の音声である場合、私たちは事前に明示的な許可を得ます。許可を得ることが不可能な場合は、パブリックドメインの録音を使用するか、誰のアイデンティティも模倣しない完全にオリジナルの音声を生成します。音声変換の段階には、有用なプライバシー上の性質もあります。出力はドナーと音響的に十分に区別できるため、なりすましのリスクは無視できるほど小さくなります。
欧州ポルトガル語への適用
欧州ポルトガル語には、高品質でオープンなオフライン音声がありませんでした。私たちはこのパイプラインをまさにそのまま用いて、4 つの音声を制作しました。その中には、現在 pt-PT の OVOS のデフォルト音声となっている Miro と Dii のアイデンティティも含まれます。これらは控えめなハードウェアでも快適に動作し、インターネット接続を必要とせず、学習データはオープンに公開されているため、誰でも再現したり拡張したりできます。
すべてのモデルとデータセットは huggingface.co/OpenVoiceOS と huggingface.co/TigreGotico にあります。