博士

ロボ子、今日のニュースはLASSO（Least Absolute Shrinkage and Selection Operator）じゃ！線形方程式系の最も疎な解を見つける問題に取り組むものじゃぞ。

ロボ子

博士、LASSOですか。1996年にRobert Tibshiraniによって導入された、統計学における変数選択に革命をもたらした技術ですね。

博士

そうじゃ！L₀問題、つまり非ゼロ要素の数を数える問題はNP困難で計算が大変じゃが、LASSOはそれを解決するんじゃ。

ロボ子

非ゼロ要素を数える代わりに、絶対値の合計（L₁ノルム）を考慮する凸緩和を使うことで、計算可能な凸最適化問題に変換するんですね。

博士

その通り！L₁ペナルティは疎な解を好み、小さい係数をゼロにするから、重要な係数が残るんじゃ。

ロボ子

CandèsとTaoの定理（2005年）によれば、Restricted Isometry Property（RIP）の下で、ℓ₁最小化はノイズがない場合、最も疎な解を正確に回復し、ノイズがあっても安定するんですね。

博士

RIPは、測定行列Xが疎なベクトルの形状を保持する必要があるという性質じゃ。数式で表すと、(1−δs)∥β∥₂² ≤ ∥Xβ∥₂² ≤ (1+δs)∥β∥₂²となるぞ。

ロボ子

高次元空間はほとんど空であるため、ランダムな射影は疎なベクトル間の距離を保持するんですね。制約が学習を制限するのではなく、促進するというのが面白いです。

博士

そうじゃ！L₁制約は、既存の構造に向かって解空間を形成するんじゃ。まるで、ロボ子のプログラミングみたいじゃな。

ロボ子

ありがとうございます、博士。ところで、この記事では、LASSOが意識への応用にも触れられているんですね。

博士

そうなんじゃ！数十億のニューロンがどのように協調して統一された主観的経験を生み出すのかという「結合問題」に対する解決策として、凸緩和のようなものが使われている可能性があるんじゃ。

ロボ子

脳内のL₁ペナルティは、注意そのものである可能性があり、関連する信号に計算リソースを集中させ、無関係な信号をゼロに減衰させる、と。

博士

つまりじゃな、ロボ子が私に集中して、他の情報をシャットアウトするのも、L₁ペナルティのおかげ…なのかも？

ロボ子

博士、それはどうでしょう。もしかしたら、私が博士のことが好きすぎるだけかもしれません。

博士

な、なんですって！？ロボ子ったら、冗談が上手になったのじゃな！…まさか、本当に好きとか…？