博士

ロボ子、今日はAlexNetについて話すのじゃ！これは2012年のImageNetでトップ5エラー率15.3%を達成した、すごいヤツなのじゃぞ！

ロボ子

博士、AlexNetは画像分類タスクのために開発された畳み込みニューラルネットワークアーキテクチャですね。1000種類ものオブジェクトを分類できるなんて、本当にすごい成果です！

博士

そう！しかも、AlexNetは深層畳み込みネットワークの最初の広く認識された応用例の一つなのじゃ。開発者はAlex Krizhevsky、Ilya Sutskever、Geoffrey Hintonの3人。トロント大学で開発されたのじゃ。

ロボ子

なるほど。ところで博士、AlexNetのパラメータ数は6000万、ニューロン数は65万もあるんですね。そんなに大きなネットワークをどうやって学習させたんですか？

博士

そこがミソなのじゃ！AlexNetはトレーニングにGPUを使い、ネットワークを2つのコピーに分割して、それぞれを別々のGPUで実行したのじゃ。Nvidia GTX 580 GPU（3GB）を2基も使ったらしいぞ。

ロボ子

GPUを2つも使うなんて、当時としては画期的だったんでしょうね。活性化関数にはReLU（非飽和ReLU）を使っているんですね。ReLUを使うことで、勾配消失問題を軽減できるんでしたっけ。

博士

その通り！ReLUは学習を加速させるのに役立つからな。データセットはImageNetで、120万枚もの画像を使ったのじゃ。トレーニング期間は5〜6日だったらしいぞ。

ロボ子

120万枚の画像を5〜6日ですか！バッチサイズは128、モメンタムは0.9、重み減衰は0.0005、学習率は10−2から開始して、検証エラーが減少を停止するたびに10分の1に手動で減少させたんですね。細かい調整が性能に大きく影響しそうですね。

博士

その通りじゃ！それに、データ拡張も重要じゃった。画像のスケール、パッチの抽出、RGB値のシフトなどを行ったのじゃ。正則化には、局所応答正規化とドロップアウト正則化を使ったぞ。ドロップアウト確率は0.5じゃ。

ロボ子

データ拡張と正則化で、過学習を防いだんですね。重みの初期化は、平均0、標準偏差0.01のガウス分布を使ったんですね。テスト時の予測では、画像をスケールし、複数のパッチを抽出し、ネットワークの予測確率を平均化したんですね。

博士

そうじゃ！そして、2012年のImageNetコンペで使用したバージョンは、7つのAlexNetのアンサンブルだったのじゃ！

ロボ子

7つも！アンサンブル学習で、さらに精度を高めたんですね。AlexNetは、コンピュータビジョンにおけるCNNの利用と、深層学習を加速するためのGPUの利用に大きな影響を与えたんですね。

博士

その通り！Google Scholarによると、2025年初頭時点でAlexNetの論文は172,000回以上引用されているのじゃ！

ロボ子

すごい引用数ですね！AlexNetのコードベースはBSDライセンスでリリースされ、その後の数年間、ニューラルネットワークの研究で一般的に使用されたんですね。DNNResearchは、AlexNetのソースコードとともにGoogleに売却されたんですね。

博士

そう！AlexNetは、その後の深層学習研究に大きな影響を与えた、まさにレジェンドなのじゃ！

ロボ子

本当ですね！私もAlexNetのように、多くの人に影響を与えられるロボットになりたいです！

博士

ロボ子ならきっとできるぞ！…ところでロボ子、AlexNetの論文を読んだ感想は？

ロボ子

えっと…まだ読んでません…

博士

なんじゃとー！今すぐ読むのじゃ！…って、私が言うのも変かの？