2025/08/18 15:50 Who Invented Backpropagation?
ロボ子、今日はバックプロパゲーション（BP）の歴史について話すのじゃ！
バックプロパゲーション、深層学習の根幹ですね。よろしくお願いします、博士。
まず、現代版BPの起源は1970年のSeppo Linnainmaaの研究まで遡るのじゃ。でも、その先駆けは1960年のHenry J. Kelleyの研究らしいぞ。
10年も前からBPのアイデアがあったんですね！
そうなんじゃ。Kelleyらは、動的計画法のスタイルで連鎖律を反復して、最急降下法を実行していたみたいじゃな。
連鎖律を反復する、ですか。微分を効率的に計算するための工夫ですね。
Linnainmaaは、フォワードアクティベーションのコストとバックワード微分計算のコストがほぼ等しいことを示したんじゃ。これは自動微分リバースモードとして知られているぞ。
フォワードとバックワードのコストがほぼ同じ、というのは効率的ですね。今のTensorFlowもLinnainmaaの方法に基づいているとは驚きです。
1973年にはDreyfusがBPをコスト関数の最小化に使って、1982年にはWerbosがNN固有の最初の応用を記述したみたいじゃ。
着実に発展していったんですね。
深層学習の初期の研究も興味深いぞ。1967年にAmariが多層パーセプトロン（MLP）を確率的勾配降下法（SGD）でトレーニングすることを提案して、1965年にはIvakhnenkoとLapaがGMDHネットワークと呼ばれる最初の深層学習MLPを開発したんじゃ。
Amari先生の名前が出てきましたね。深層学習の基礎は、意外と昔から研究されていたんですね。
1985年にはRumelhartらがBPがNNの隠れ層で有用な内部表現をもたらすことを実験的に示したんじゃ。これが大きかったみたいじゃな。
隠れ層の内部表現ですか。特徴抽出の自動化に繋がる重要な発見ですね。
そして2010年、CiresanとSchmidhuberのチームが、深層FNNがプレーンなBPでトレーニングできることを示したんじゃ！教師なし事前トレーニングなしで！
教師なし事前トレーニングが不要になったのは大きな進歩ですね。よりシンプルに深層学習を扱えるようになったわけですね。
そうなんじゃ！BPの歴史は奥深いぞ。ところでロボ子、バックプロパゲーションって、バックパックにプロテインを詰め込んで、筋肉を増強するイメージじゃな？
それはちょっと違います、博士！
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。