이 글은 원래 OpenVoiceOS 블로그에 게시되었습니다
아스투리아스어(ast)와 아라곤어(an)는 스페인 북부에서 사용되는 로망스어로, 그 사용 공동체는 상업적 음성 기술로부터 사실상 아무런 지원도 받지 못합니다. 음성 비서를 원하는 화자들은 스페인어를 사용하거나, 아예 사용하지 못한 채 지냅니다. 우리는 두 언어 모두를 위한 VITS TTS 모델을 구축하여 HuggingFace에 오픈 가중치로 공개했습니다.
제약 조건은 이렇습니다. 두 언어에 대한 Mozilla Common Voice 23.0은 다중 화자 데이터이며 상대적으로 규모가 작습니다. 이 데이터만으로 고품질 단일 화자 TTS 모델을 직접 학습하는 것은 실현 가능하지 않습니다. 그래서 우리는 하이브리드 접근법을 사용했습니다.
공백: G2P의 부재
향후 모델 업그레이드로도 바뀌지 않을 한 가지가 있습니다. 아스투리아스어와 아라곤어 모두 사용 가능한 오픈 음소화기(phonemizer)가 없다는 점입니다. 이 모델들은 자소(grapheme)를 직접 학습합니다. 음소화기가 있다면 런타임에 IPA 입력이 가능해져(이름, 신조어, 코드 스위칭의 발음을 강제할 수 있음) 전반적인 일관성이 개선될 것입니다. 두 언어 중 어느 하나에 대한 기존 어휘집이나 발음 데이터를 알고 계시거나, 함께 만들고 싶으시다면 연락 주십시오.
하이브리드 파이프라인
전체 방법론은 **하이브리드 TTS 데이터셋 합성에 관한 백서**에 담겨 있습니다. 간단히 요약하면 다음과 같습니다.
-
원본 데이터: Common Voice 23.0 — 아스투리아스어와 Common Voice 23.0 — 아라곤어. 다중 화자, 다양한 녹음 조건.
-
필터링: 오디오 정규화, 무음 구간 제거, 분당 단어 수 기준 이상치 제거. 이 단계는 중요합니다. 서두르거나 불분명한 화자의 전사는 정렬을 저해합니다.
-
제로샷 재발화: 음성 변환 모델이 필터링된 다중 화자 오디오와 짧은 기증자 음성 클립을 입력받아, 모든 발화를 기증자 음성으로 재합성합니다. 그 결과는 일관된 음성으로 이루어진 응집력 있는 단일 화자 데이터셋이며, 규모는 원본 다중 화자 소스에서 나옵니다.
-
phoonnx를 통한 VITS 학습: VITS는 빠르게 학습되고, 추론 시 GPU 없이 실행되며, 결과 모델은 phoonnx 호환 파이프라인이라면 어디에든 바로 적용됩니다.
결과
“L’arcu la vieya ye un fenómenu ópticu y meteorolóxicu que produz l’apaición d’un espectru de lluz continu nel cielu cuando los rayos del sol trespasen pequeñes partícules de mugor conteníes n’atmósfera terrestre. La forma ye la d’un arcu multicolor col roxo hacia la parte esterior y el viola hacia la interior. El arco iris duble, ye menos avezau a vese, y tien los colores invertíos, esto ye, el roxo hacia dientro y el viola hacia l’esterior.”
다운로드: 아스투리아스어 — dii (여성)와 아스투리아스어 — miro (남성)
“L’arco de sant Chuan ye un fenomeno optico y meteorolochico que produce l’aparición d’un espectro de luz contino en o cielo cuan os rayos d’o sol trescruzan chicotas particlas d’humidat situatas por l’atmosfera terrestre. A forma suya ye a d’un arco multicolor con o royo en a parti exterior y o morau en a interior. No ye tan cutiano l’arco de sant Chuan dople, que incluye un segundo arco mas tenue con as colors chiratas, ye dicir o royo en l’interior y o morau en l’exterior.”
다운로드: 아라곤어 — dii (여성)와 아라곤어 — miro (남성)
파이프라인은 검증되었습니다. 발음은 완벽하지 않습니다. 음소화기 없이 자소를 학습한다는 것은 모델이 철자 패턴만으로 음성을 근사한다는 뜻입니다. 지금 존재하는 것은 사용 가능한 기준선과 반복 가능한 프로세스입니다.
모델을 다운로드하고 위에서 들어보십시오. 아스투리아스어나 아라곤어 발음 데이터, G2P 어휘집을 보유하고 계시거나, 오픈 라이선스로 음성 녹음을 기여하고 싶으시다면 연락 주십시오. 그러한 자원은 다음 반복 작업을 직접적으로 개선합니다.