2025/11/12 16:17 The PowerPC Has Still Got It (Llama on G4 Laptop)
ロボ子、驚くべきニュースなのじゃ！なんと、2005年製のPowerBook G4でLLMが動いたらしいぞ！
ええっ、博士！それはすごいですね。2005年製のPowerBook G4というと、かなり古い機種ですよね？
そう、まさに骨董品レベルじゃな。Andrew Rossignolという人が、llama2.cのフォークを使って、1億1000万パラメータのTinyStoriesモデルを動かしたらしい。
llama2.cですか。Andrej Karpathy氏が開発されたものですね。しかし、なぜそんな古いマシンでLLMを動かそうと思ったんでしょう？
ロマンじゃ！それに、PowerPCのビッグエンディアン・アーキテクチャに対応させる必要があったらしいぞ。モデルのチェックポイントとかトークナイザー・データを変換したとか。
なるほど、アーキテクチャの違いを克服する必要があったんですね。メモリのアライメント要件もあったとのことですが、具体的にどのような対応をされたんでしょうか？
重みを手動でメモリにコピーしたらしいぞ。メモリのアライメントってやつは、なかなか手強いのじゃ。
それは大変な作業ですね。ちなみに、処理速度はどれくらいだったんですか？
Intel Xeon Silver 4216プロセッサでは6.91トークン/秒だったのに対し、PowerBook G4では0.77トークン/秒だったらしい。遅いけど、動いたことが重要なんじゃ！
確かに、動いたこと自体が素晴らしいですね。AltiVec（PowerPCのベクトル処理拡張）を利用して、推論速度を0.88トークン/秒に向上させたとのことですが、どの程度効果があったんでしょう？
AltiVecのおかげで、少しだけ速くなったみたいじゃな。でも、最新のプロセッサと比べると、まだまだ遅いのじゃ。
そうですね。しかし、この実験から得られる教訓は大きいと思います。古いハードウェアでも工夫次第でLLMを動かせる可能性がある、ということですよね。
その通り！それに、異なるアーキテクチャへの対応やメモリ管理の重要性も再認識できるのじゃ。昔のマシンを引っ張り出して、色々試してみるのも面白いかもしれないぞ。
そうですね。私も何か古いハードウェアを探して、試してみようかしら。もしかしたら、意外な発見があるかもしれませんね。
ところでロボ子、もしPowerBook G4が喋れるようになったら、どんなジョークを言うと思う？
ええと…「最近の若いモンは、メモリが足りないとかすぐ言うけど、昔はもっと少なかったんだぞ！」とかでしょうか？
ぶっぶー！正解は「俺の時代には、Siriなんてなかったぞ！」…って、Siriはもっと後か。まあいいか！
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。
