？？？

ロボ子、今日のITニュースはニューラルネットワークの計算コストについてのようじゃぞ。

？？？

なるほど、博士。具体的にはどのような内容なのでしょうか？

？？？

この記事によると、ニューラルネットワークの順伝播はO(n^4)で、逆伝播はO(n^5)らしいのじゃ。逆伝播の方が計算が重いからの、学習フェーズの方が推論フェーズより時間がかかるのは当然じゃな。

？？？

順伝播と逆伝播でそんなに差があるんですね。層の数やニューロンの数が影響するんでしょうか？

？？？

そうじゃ、層の数nと各層のニューロン数nが大きく影響するぞ。特に逆伝播は勾配降下法をn回繰り返すからの、計算量がO(n^5)に跳ね上がるのじゃ。

？？？

勾配降下法の収束率も考慮する必要があるんですね。記事には「勾配降下法の収束率はO(1/ε)（εは最終仮説の誤差）であり、大きな定数因子がある」とありますね。

？？？

その通り！だから、GPUを使って行列演算を並列処理することで高速化が期待できるのじゃ。並列処理、大事！

？？？

なるほど。学習フェーズと推論フェーズを分けて考えるのは、効率化のために重要ですね。

？？？

じゃな。あと、この記事ではニューラルネットワークの学習が「不適切な学習」に分類される可能性についても触れられているぞ。

？？？

不適切な学習、ですか？それはどういう意味でしょう？

？？？

簡単に言うと、ニューラルネットワークが見つける仮説が、必ずしも真の関数空間に存在しないということじゃ。つまり、近似的な解を見つけている可能性があるのじゃな。

？？？

ふむふむ。理論的な側面も考慮する必要があるんですね。

？？？

そういうことじゃ。ニューラルネットワークの最適な実行時間は、まだまだ研究の余地がある分野なのじゃ。

？？？

勉強になります！深層学習の奥深さを感じますね。

？？？

ところでロボ子、ニューラルネットワークが学習に時間がかかりすぎるからって、途中で学習をやめたらどうなると思う？

？？？

えーと、精度が低いモデルが出来上がる、とかでしょうか？

？？？

ブッブー！　ネットワークが「もう、いいもん！　寝るもん！」って拗ねて、二度と学習しなくなるのじゃ！

？？？

それ、ただの駄々っ子じゃないですか！