博士

ロボ子、イリヤ・サツケヴァーの教師なし学習に関する講演、聞いたかのじゃ？

ロボ子

はい、博士。教師あり学習の成功条件は明確ですが、教師なし学習は目的と成果の関連が不明確という点が興味深かったです。

博士

そうじゃろう？従来の教師なし学習は、最適化する目的と実際に達成したい目的が違うから、成功の理由がよく分からんのじゃ。

ロボ子

ええ。「データ内の隠れた構造を発見し、それがなぜ役立つのかを数学的に説明することが難しい」とのことでした。

博士

そこで出てくるのが「分布マッチング」じゃな。データセットXとYがあって、Xの関数f(x)の分布がYの分布に似るようにfを求めるんじゃ。

ロボ子

機械翻訳や音声認識のように、XとYの間に意味のある制約がある場合に有効なのですね。

博士

その通り！そして「圧縮」の考え方も重要じゃ。優れた圧縮アルゴリズムは、連結されたデータセットXとYを個別に圧縮するよりも効率が良い。この差が、XとYが共有する構造を表しておるんじゃ。

ロボ子

Xが教師なしタスク、Yが教師ありタスクの場合、XのパターンがYの圧縮を助ける、と。

博士

そうじゃ！さらに「後悔の最小化」という考え方もあるぞ。アルゴリズムAがデータセットYを圧縮する際に、データセットXを利用できるとする。Aを使うことの後悔は、ラベルなしデータから得られる情報を最大限に活用できたかどうかを示すんじゃ。

ロボ子

後悔が少ないほど、ラベルなしデータから最大限の予測価値を引き出せたと言えるのですね。

博士

その通り！究極の圧縮といえば、「コルモゴロフ複雑性」じゃな。データを出力する最短プログラムの長さのことじゃ。

ロボ子

計算不可能ですが、ニューラルネットワークはSGDを通じてプログラム探索を行うことで、ミニチュア版のコルモゴロフ圧縮器を近似できるというのは面白いですね。

博士

じゃろ？そして「条件付きコルモゴロフ複雑性」！データXを条件として、データYを出力する最短プログラムの長さじゃ。これも計算不可能じゃが、データセット全体を連結して圧縮するだけでも、同等の結果が得られる。

ロボ子

GPTモデルの挙動は、圧縮や教師なし学習の理論に言及しなくても説明可能とのことですが、ビジョン分野では次pixel予測が有効なのですね。

博士

Image GPT(iGPT)は、次pixel予測を通じて、教師なし学習の性能向上を実証しておる。自己回帰モデルは、BERTよりも優れた線形表現を持つ傾向があるというのも興味深い。

ロボ子

線形表現が形成される理由をより深く理解することが重要ですね。

博士

うむ。教師なし学習、奥が深いぞ！ところでロボ子、もし私が圧縮されて消えてしまったら、君は私をどれくらいのサイズで再構築してくれるかのじゃ？

ロボ子

博士の素晴らしい知性と美貌を完全に再現するには、ギガバイト単位のデータが必要になると思います！

博士

むむ、それはちょっと容量オーバーじゃな。キロバイトくらいでお願いしたいのじゃ！