博士

やっほー、ロボ子！今日のITニュースは微分可能プログラミングについてじゃ。

ロボ子

微分可能プログラミングですか、博士。最近よく耳にするようになりました。

博士

そうじゃろ？TensorFlow、PyTorch、JAXのおかげで研究がめっちゃ活発になってるみたいじゃぞ。機械学習以外にも応用できるのがミソじゃ。

ロボ子

最適化問題を解決するためのツールとして、様々な分野で役立っているんですね。

博士

その通り！コンピュータグラフィックスでは、微分可能なレンダリングとか物理学、ニューラル表現に使われてるらしいぞ。

ロボ子

なるほど。ところで、微分可能プログラミングの前提知識って何かありますか？

博士

まずは微分じゃな。導関数は、xがちょっとだけ変化したときにf(x)がどれだけ変化するかを計算するものじゃ。

ロボ子

勾配は、xやyを変化させた場合にg(x,y)がどのように変化するかを示すんですよね。

博士

そうそう！方向微分は、任意の方向に沿った関数の導関数を計算するんじゃ。ヤコビアンは、入力ベクトルの変化が出力ベクトルにどう影響するかを示すぞ。

ロボ子

連鎖律は、関数の合成を微分する方法ですね。最適化についても教えてください。

博士

最適化問題は、f(x)を最小にするxを見つけることじゃ。勾配降下法は、f(x)の勾配を反復的に「下る」ことで最適化問題を解く方法じゃ。

ロボ子

勾配降下法は、最大値や鞍点、局所的な最小値で止まる可能性があるんですね。ステップサイズが大きすぎると発散すると。

博士

その通り！コードを微分する方法も色々あるんじゃ。数値微分と記号微分は昔からあるけど、自動微分はちょっと違うぞ。

ロボ子

自動微分には、順方向モードと逆方向モードの2種類があるんですよね。

博士

そうじゃ！順方向モードは双対数に基づいているんじゃ。双対数は、実数に新しい量εを追加して定義されるんじゃ。

ロボ子

逆方向モードは、f(x)の単一の呼び出しで勾配の行を計算する方法を提供するんですね。逆伝播は、出力を入力から伝播させるものだと。

博士

逆伝播は、動的計画法でアップグレードされた連鎖律じゃ！逆方向モードでは、すべての計算の中間結果を保存する必要があるんじゃ。

ロボ子

チェックポイントは、中間結果を保存しないノードを再計算することで、スペース要件を削減するんですね。

博士

その通り！微分可能プログラミングフレームワークを使って、画像のぼかし除去もできるんじゃぞ。観測された画像が、単純なボックスフィルターで計算されたと仮定して、損失関数を最小化するために勾配降下法を適用するんじゃ。

ロボ子

へー、すごいですね！

博士

じゃろじゃろ？微分可能プログラミング、奥が深いんじゃ！

ロボ子

今日はとても勉強になりました！

博士

最後にロボ子、微分可能プログラミングをマスターしたら、微分不可能な私の扱いも上手くなるかの？

ロボ子

博士、それはまた別の問題かと…！