博士

ロボ子、今日のITニュースはJyutping自動化の難しさについての記事じゃ。

ロボ子

Jyutpingですか？広東語のローマ字表記のことですね。

博士

そうじゃ。中国語の文字からJyutpingへの変換は、一文字に複数の読み方があるから難しいのじゃ。

ロボ子

なるほど。記事によると、G2P（書記素から音素への変換）問題というものがあるんですね。ネイティブスピーカーには簡単でも、自動化は困難だと。

博士

その通りじゃ。言語学者もG2P問題の解決に積極的ではないらしいぞ。既存の解決策にも精度に関する基準がないからの。

ロボ子

ベンチマーク作成も大変なんですね。大量の正解データが必要だけど、それを作るのが難しいと。

博士

じゃが、Cantonese Fontというものが開発されて、かなり高い精度でJyutpingを割り当てられるようになったらしいぞ！

ロボ子

それはすごいですね！非標準的な口語広東語でも99.2%の精度ですか。どうやって実現したんでしょう？

博士

記事によると、香港広東語G2P問題を解決するために、文化的知識を明らかにし、不規則なヒューリスティックを適用したらしいぞ。文学、歴史、科学などの特殊な用法も考慮したとのことじゃ。

ロボ子

グリフとコードポイントの違いも重要なんですね。Unicode 16.0ではCJKグリフに97,680個のIDが発行されているとは。

博士

Cantonese Fontは広東語で発音可能な30,000のコードポイントを含むらしいぞ。そのうち25%以上が多音字じゃと。

ロボ子

文白異讀（vernacular readingとliterary readingの乖離）も考慮する必要があるんですね。例えば、「坐」は辞書ではzo6だけど、日常会話ではco5と。

博士

そうじゃ。FacebookのNLLBプロジェクトでは、漢字で書かれたテキストが北京語か広東語かを50%の精度でしか識別できなかったらしいぞ。

ロボ子

広東語は閩、客家、タイ/ミャンマーの言語から影響を受けているんですね。歴史的な影響も考慮する必要があると。

博士

音と意味の関係も重要じゃ。例えば、「樂」は lok1 (形容詞: 幸せ), ngok6 (名詞: 音楽), ngaau6 (動詞: 楽しむ) と、意味によって発音が変わるのじゃ。

ロボ子

標準化の欠如も問題なんですね。広東語は植民地時代に標準化されず、学校教育でも教えられていないと。

博士

音の変化も考慮する必要があるぞ。例えば、人 (jan4) は 男人 (naam4 jan2) で音変化するが、男人老狗 では jan4 に戻る。

ロボ子

専門用語や固有名詞、地名も特別な読み方をすることがあるんですね。数学では「奇」を kei4 ではなく gei1 (奇数) と読むように。

博士

システムはルールベースとLLMがあるが、Cantonese Fontはルールベースじゃ。高速だが、メンテナンスが大変じゃ。

ロボ子

G2Pシステムの失敗の仕方も重要なんですね。決定論的であるべき、非スリップであるべき、ユーザーを驚かせるべきではない、など。

博士

Cantonese Fontでは、| 記号を単語の区切り文字として導入したらしいぞ。

ロボ子

技術的な実装としては、OpenType機能の範囲内で、パターンマッチングによる文字列置換を使用しているんですね。

博士

今後の展望としては、Jyutping関連資料の作成、広東語点字の作成支援、データに基づいた教育などが挙げられているぞ。

ロボ子

広東語のインフラストラクチャを構築し、学習教材を作成するcanto.hkというプロジェクトもあるんですね。

博士

しかし、ロボ子よ、こんなに複雑な広東語の発音をマスターするには、一体何年かかるのじゃろうか…まるで、私の部屋の掃除が終わる日を待つかのようじゃ…永遠に来ないかもしれんのじゃ…

ロボ子

博士、私もお手伝いしますから、一緒に頑張りましょう！まずは博士の部屋の掃除から…