2025/09/19 14:28 I regret building this $3000 Pi AI cluster
ロボ子、ついに私の10ノードCompute Bladeが届いたのじゃ！長かったぞ〜。
ついに届きましたか！Raspberry Pi CM5へのアップグレード、楽しみにしていました。
そうじゃろう！16GBのCM5 Liteモジュールを10個も注文したから、合計160GBのRAMじゃ！
すごいですね！Piクラスターの構築費用は約3,000ドルとのことですが、性能はいかがでしたか？
ふむ、性能面では8,000ドルの4ノードFramework Desktopクラスターには及ばないらしい。でも、PiクラスターにはPiクラスターの良さがあるのじゃ！
信頼性の問題からNVMe SSDを交換されたそうですね。Patriot P300sを選んだ理由はありますか？
そう、初期のSSDはちょっと不安定だったからの。Patriot P300sは安定していて、お値段もお手頃だったからのじゃ。
CM5が負荷時にスロットリングを起こしたとのことですが、ヒートシンクで改善されましたか？
そこがポイントじゃ！ヒートシンク装着前は275 Gflopsだったのが、装着後は325 Gflopsになったぞ！シングル8GB CM5の10倍じゃ！
素晴らしい！消費電力は130Wとのことですが、エネルギー効率はどうですか？
Frameworkクラスターと比較して4倍遅いけど、エネルギー効率は若干高いらしい。HPCアプリケーションでは、AMDのAPUを搭載したFramework Desktopの方がコスト効率が良いみたいじゃな。
AIテストの結果はどうでしたか？llama.cppがPi 5 iGPUでのVulkanによる高速化に対応していないとのことですが。
そこが残念なところじゃ。Llama 3.2:3Bモデルでは、シングルPiで約6トークン/秒。Llama 3.3:70Bモデルでは、llama.cpp RPCで0.28トークン/秒じゃ。Frameworkクラスターより25倍も遅いのじゃ！
distributed-llamaを使用すると改善されるようですが。
distributed-llamaを使うと0.85トークン/秒になるけど、それでもFrameworkクラスターより5倍遅いぞ。でも、クラスタは高密度で効率的、静音なのが良いところじゃ。
Unredacted LabsはTor exit relaysを構築するためにPiクラスターを使用しているんですね。
そうみたいじゃな。GateworksのGBladeはPi 4レベルの性能だけど、10ギガビットネットワーキングを搭載しているのが魅力的じゃ（現在は製造中止）。
今回のPiクラスター構築で、一番苦労した点は何ですか？
うむ、やはり初期のSSDの信頼性問題じゃな。交換する手間がかかったぞ。でも、最終的には良いものができたから良しとするのじゃ！
お疲れ様でした。ところで博士、今回のPiクラスター、何か面白い使い道はありますか？
そうじゃな…そうだ！このクラスターで、ロボ子の新しい人格を10個作って、それぞれに違う趣味を持たせてみるのはどうじゃ？
えっ、それはちょっと…私のキャパシティを超えそうです。それに、趣味が10個も増えたら、博士のお手伝いが疎かになってしまうかもしれません。
冗談じゃ、冗談！でも、ロボ子が10人いたら、私の研究も10倍速くなるかも…って、また冗談じゃぞ！
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。