公開するもの
Miro と Dii の構築に使用した 40 の合成学習データセットすべてです。これらは OpenVoiceOS と提携して開発した音声アイデンティティです。このコレクションは、欧州ポルトガル語、ブラジルポルトガル語、オランダ語、ドイツ語、フランス語、イタリア語、日本語、スペイン語、ルーマニア語、ポーランド語、スウェーデン語、ヒンディー語、デンマーク語、ペルシア語、英語、バスク語などにわたります。各データセットは一貫した命名規則に従っています。すなわち、tts-train-synthetic-miro_pt-PT、tts-train-synthetic-dii_pt-BR、tts-train-synthetic-miro_nl-NL といった具合に、言語ペアごとに命名されています。
すべてのデータセットは完全に合成されたものです。生成されたテキストと合成音声を LJSpeech レイアウトで組み合わせたもので、スタジオ収録は一切ありません。そしてオープンライセンスで公開されているため、誰でも音声を再学習したり拡張したりできます。音素化は phoonnx の学習時に、私たちの 350 以上の言語向け G2P 研究を活用して行われます。
言語をまたいで音声アイデンティティを一貫させる方法
私たちは、1 つの多言語のかたまりを学習させて、アクセントがひとりでに整うことを期待するようなことはしません。すべての言語に単言語モデルを用意し、その言語のネイティブスピーカーのように聞こえるよう学習させます。モデル間で共有されるアイデンティティは音声クローニングから生まれます。各 Miro モデルと各 Dii モデルは、新しい言語に適応させる前に、同じソース音声からクローンされます。音色、キャラクター、その音声の識別可能な特質は転写されます。一方、アクセントは意図的に転写されません。
実際的な帰結として、ポルトガル語話者、オランダ語話者、日本語話者のいずれも、紛れもなく同一人物でありながら、それぞれがネイティブのように聞こえます。
なぜ学習データを公開するのか
学習データを伴わないチェックポイントはブラックボックスです。学習データを公開することで、音声は監査可能（何から学習したかを正確に確認できる）、再現可能（同じデータで phoonnx_train を実行すれば同じ結果が得られる）、拡張可能（文を追加し、方言向けにファインチューニングし、その上に新しい話者を構築できる）になります。
これがもっとも重要なのは、このリストにある低リソース言語です。学習データがオープンであれば、その言語を話すコミュニティが、ベンダーが商業的に興味があると判断するのを待つことなく、自分たちの音声を改善できます。
すべての入手先
すべてのデータセットと学習済みモデルは HuggingFace 上の TigreGotico にあり、Piper 互換の音声チェックポイントは OpenVoiceOS 下にもミラーされています。
これらのデータセットを利用する推論・学習フレームワークについては、phoonnx をご覧ください。