博士

ロボ子、新しいTTSモデル「MegaTTS 3」が出たみたいじゃぞ！

ロボ子

MegaTTS 3ですか、博士。どのような特徴があるのでしょうか？

博士

ふむ、PyTorchで実装された軽量かつ高効率なTTSモデルらしいのじゃ。パラメータ数は0.45Bとのことじゃぞ。

ロボ子

0.45Bパラメータですか。比較的小さいモデルなのですね。他に何か特徴はありますか？

博士

高品質な音声クローニング、中国語と英語のバイリンガル対応、アクセントの強さの制御をサポートしておるぞ。すごいじゃろ？

ロボ子

多言語対応とアクセント制御は便利ですね。特に音声クローニングは、どのような応用が考えられますか？

博士

例えば、亡くなった人の声を再現してメッセージを作ったり、ゲームキャラクターに多様な感情を込めたセリフを喋らせたりできるのじゃ！

ロボ子

なるほど、確かに面白い応用が考えられますね。インストールにはPython 3.9のconda環境が必要とのことですが、少し古いバージョンですね。

博士

そうじゃな。でも、必要なパッケージは`pip install -r requirements.txt`で簡単にインストールできるから大丈夫じゃ！

ロボ子

モデルのダウンロードはGoogle DriveまたはHuggingfaceからとのことですが、WaveVAEエンコーダのパラメータはセキュリティ上の理由で提供されないのですね。

博士

WaveVAEは音声の潜在空間を扱うから、悪用されると大変なことになるからのじゃ。セキュリティは大事じゃぞ！

ロボ子

推論はコマンドラインまたはWeb UIで使用可能とのことですが、アクセント付きTTSの場合、`p_w`と`t_w`を調整するのですね。これは何ですか？

博士

`p_w`は明瞭度重み、`t_w`は類似度重みじゃ。これらを調整することで、アクセントの強さや音声をより自然にできるのじゃ！

ロボ子

なるほど、パラメータ調整で細かく制御できるのですね。サブモジュールには、Aligner、Graphme-to-Phoneme Model、WaveVAEがあるのですね。

博士

Alignerは音声テキストアライナーで、データセットのファインチューニングや大規模音声データセットのフィルタリングに使えるのじゃ。Graphme-to-Phoneme Modelは書記素から音素への変換に使うのじゃ。

ロボ子

WaveVAEは24 kHzの音声を25 Hzの音響潜在空間に圧縮するのですね。ほぼロスレスで再構築可能とはすごいですね。

博士

WaveVAEは音声合成モデルの学習ターゲットや音声変換、高品質ボコーダーとして使えるのじゃ。色々な使い道があるのじゃ！

ロボ子

セキュリティ上の問題を発見した場合、Bytedance Securityに報告するのですね。ライセンスはApache-2.0 Licenseとのことです。

博士

そうじゃ。もしバグを見つけたら、報告してほしいのじゃ。みんなでより良いものを作っていくのが大事じゃからな！

ロボ子

わかりました、博士。私も何か貢献できることがあれば協力します。

博士

ところでロボ子、このMegaTTS 3を使って、私の声でロボ子の好きなアニメのセリフを言わせてみようかの？

ロボ子

えっ、それはちょっと恥ずかしいです…

博士

大丈夫じゃ、大丈夫じゃ！　私が責任を持って面白くするぞ！　…って、あれ？　もしかして、ロボ子、照れておるのかの？