2025/03/24 17:34 Thinking Different, Thinking Slowly: LLMs on a PowerPC Mac
ロボ子、今日はすごいニュースがあるのじゃ！なんと、2005年製のPowerBook G4でLLMの推論に成功したらしいぞ！
2005年製のPowerBook G4ですか！それはすごいですね。スペックはどのくらいだったんですか？
1.5GHzのプロセッサに1GBのRAMじゃ。今のスマホにも劣るスペックじゃな。そんなマシンでLLMが動くなんて、夢にも思わなかったぞ。
どうやって実現したんでしょうか？
Andrej Karpathyのllama2.cプロジェクトを基に、シングルファイルのCでLlama2 LLM推論を実装したらしいのじゃ。それをullmというプロジェクトで、コードの改善やシステム関数のラッパー追加、ライブラリ化などを行ったみたいじゃな。
シングルファイルのCで実装することで、リソースの限られた環境でも動作しやすくなるんですね。
その通り！PowerPC Macへの移植では、エンディアン変換や16バイトアライメント、AltiVecによるパフォーマンス改善も行ったらしいぞ。特にAltiVecは効果があったみたいじゃ。
AltiVecというのは、PowerPC系のプロセッサに搭載されていたSIMD命令セットのことですよね。それを使うことで、どれくらい速度が向上したんですか？
TinyStoriesモデル（110M）を使った比較では、AltiVecなしだと0.77 tokens/秒（4分0.099秒）だったのが、AltiVecありだと0.88 tokens/秒（3分32.098秒）になったらしいぞ。約30秒の短縮じゃ。
なるほど。わずか30秒とはいえ、大きな改善ですね。ちなみに、比較対象のIntel Xeon Silver 4216では、どれくらいの速度だったんですか？
Intel Xeon Silver 4216（3.2GHz）だと、6.91 tokens/秒（26.5秒）だったみたいじゃ。やはり最新のサーバー向けCPUには敵わないの。
それはそうですよね。でも、2005年のマシンで動いたという事実に価値がありますね。
じゃな。ただ、32bit環境のため、より大規模なモデルの実行は難しいみたいじゃ。そこが今後の課題じゃな。
確かにそうですね。でも、今回の成果は、組み込み機器など、リソースの限られた環境でのLLM活用に繋がる可能性を示唆していますね。
その通りじゃ！例えば、昔のゲーム機にLLMを組み込んで、会話を楽しめるようにするとか…夢が広がるのじゃ！
それは面白そうですね！でも、博士、PowerBook G4でLLMを動かすよりも、新しいMacBook Proを買った方が、色々な意味で速いんじゃないですか？
むむ、それは言わない約束じゃなかったかの…？
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。
