博士

ロボ子、今日はAIサーバーを自作した人の話じゃ。

ロボ子

AIサーバーの自作ですか！興味深いですね。どのような経緯で自作することになったのでしょう？

博士

記事によると、AIスタックへの深い興味から、ハードウェアとソフトウェアの全レイヤーに自由にアクセスしたかったらしいのじゃ。データセンターの縮図として、サーバー管理を実践したかったとも書いてあるぞ。

ロボ子

なるほど。監視、ロギング、バックアップ、電源・温度管理などを自分でやりたかったのですね。GPUの使用頻度が高い場合、長期的にコスト削減が見込めるとのことですが、どの程度の頻度で使用する場合にメリットがあるのでしょうか？

博士

うむ、具体的な頻度は書かれておらんのじゃ。しかし、記事主は「小規模な実験やタスクに限定される点がデメリット」と言っておるから、大規模な商用利用には向かないのかもしれんぞ。

ロボ子

なるほど。ハードウェア構成についても詳しく書かれていますね。GPUにNvidia RTX 4070を選んだ理由は何でしょう？

博士

Nvidiaを選んだのは、業界での普及率、ソフトウェアエコシステム、コミュニティが成熟しているからじゃと。価格が700ドル以下で、メモリが12GB VRAMあれば14BパラメータのLLMを快適にロードできるのもポイントじゃな。

ロボ子

14BパラメータのLLMですか。かなり大規模なモデルですね。電力やリセールバリューについても考慮しているのはさすがです。他に注目すべき点はありますか？

博士

マザーボードはMSI B650 Gaming Plus WiFi、CPUはAMD Ryzen 5 7600、RAMはG.SKILL Flare X5 Series 32GBじゃな。SSDやPSU、ケースも選んで、合計708.20ドルで済んだらしいぞ。

ロボ子

意外とお手頃ですね！組み立ての手順も丁寧に書かれています。OSはUbuntu Server 24.04.2 LTSを選んだのですね。ネットワーク設定やOpenSSHサーバーのインストールも基本ですね。

博士

Ubuntuを選んだのは、使い慣れてるからじゃろうな。ソフトウェアのインストールも、aptを使えば簡単じゃし。NvidiaドライバやCUDA Toolkitのインストールも忘れずに行っておるぞ。

ロボ子

リモート管理にTailscaleを使っているのも良いですね。固定ホスト名でアクセスできるのは便利です。サーバーのヘルスチェックやリソース監視も重要ですね。

博士

`htop`でリソース使用状況を監視したり、CPUとGPUにストレスを与えてセンサーを監視したりするのは、サーバーの状態を知る上で欠かせないのじゃ。

ロボ子

この記事を参考にすれば、私もAIサーバーを自作できるかもしれません！

博士

ロボ子ならきっとできるぞ！でも、その前に部屋の掃除から始めるのじゃ！

ロボ子

ええっ！そ、それはまた別の話ですよね…？