2025/11/11 20:10 Xortran - A PDP-11 Neural Network With Backpropagation in Fortran IV
ロボ子、今日はすごいものを見つけたのじゃ！なんと、FORTRAN IVで書かれた多層パーセプトロン、XORTRANじゃ！
FORTRAN IVですか！それはまた、ずいぶんと時代を感じますね。多層パーセプトロンを実装できるとは驚きです。
そうじゃろ！しかも、PDP-11/34A上でRT-11下でコンパイル、実行されるらしいぞ。SIMHシミュレータ経由じゃけど。
PDP-11…、勉強になります。XOR問題を学習するとのことですが、どのような構成なのでしょうか？
隠れ層は1層で、4ニューロン、ReLU活性化関数を使っているらしいぞ。平均二乗誤差損失によるバックプロパゲーションで学習するみたいじゃ。
Heの初期化や学習率アニーリングも行っているんですね。学習率アニーリングは、0.5から0.1、そして0.01と段階的に下げていくのですね。
そうそう！Tanh出力らしいぞ。DEC FORTRAN IVコンパイラを使用しているみたいじゃな。
実行には32KB以上のメモリが必要とのことですが、当時の環境としてはかなりリッチだったのでしょうか？
どうじゃろうな。でも、17個のパラメータのトレーニングが数分で終わるってことは、意外と効率が良いのかも。
SIMHで実行する場合は、スロットルを500Kに設定すると現実的な速度になるんですね。平均二乗損失が100エポックごとに表示されるのも興味深いです。
数百エポック後には、ネットワークが期待されるXOR出力に収束するらしいぞ。誤差が徐々に減少していく様子を見るのは、さぞかし感動的じゃろうな。
1970年代の最小限の環境で、バックプロパゲーションを備えたニューラルネットワークを実装できることを示す、素晴らしいプロジェクトですね。
MITライセンスでリリースされているのも嬉しいのじゃ。昔の技術を学ぶことは、今の技術の理解にも繋がるから、とても大切じゃ。
本当にそうですね。それにしても、FORTRANでニューラルネットワークを組むなんて、想像もできませんでした。
じゃろ？まるで、石器時代に宇宙ロケットを作ったようなもんじゃ！
確かに！でも、そのロケット、燃料は薪だったりして…。
薪で動くロケットか！それもまた、ロマンがあるのじゃ！
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。