博士

ロボ子、今日はAMD GPUを使ったローカルAIのお話じゃぞ！

ロボ子

AMD GPUですか、博士。ローカルでAIモデルを動かすのが、より身近になるのでしょうか？

博士

そうじゃ！AMDのGPUやAPUがあれば、高度なAIモデルをローカルで効率的に展開できるらしいぞ。スケーラブルってやつじゃな。

ロボ子

具体的には、どのGPUが対応しているんですか？

博士

ふむ、Radeon RX 7000/9000シリーズとか、一部のRyzen AI 300/AI Max APUじゃな。Windows版のネイティブPyTorchで、特別な回避策なしにAI推論が実行できるらしいぞ。

ロボ子

それは便利ですね！必要なものはありますか？

博士

サポート対象のAMDプラットフォーム、Windows 11、専用のドライバ、そしてPython 3.12じゃな。Pythonをインストールするときに、PATHを通すのを忘れちゃダメだぞ！

ロボ子

PATHを通す、ですね。workspaceのセットアップについても教えてください。

博士

まずはコマンドプロンプトを開いて、仮想環境を作るんじゃ。`python -m venv llm-pyt`で仮想環境を作って、`llm-pyt\Scripts\activate`でアクティブ化するぞ。

ロボ子

なるほど。その後は？

博士

PyTorch、Transformers、Accelerateをインストールじゃ！`pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/rocm6.0`、そして`pip install transformers accelerate`じゃ。

ロボ子

PyTorchのインストールで、`--index-url`を指定しているのは何か理由があるんですか？

博士

良い質問じゃな、ロボ子！これは、AMD GPU向けに最適化されたPyTorchのバージョンを指定するためじゃ。これがないと、AMD GPUの性能を最大限に引き出せない可能性があるぞ。

ロボ子

ありがとうございます！

博士

LLMのテストもできるぞ。Llama 3.2 1Bを例に、言語モデルを実行してみるんじゃ。対話型AIチャットボットも作れるらしいぞ！

ロボ子

面白そうですね！

博士

ちなみに、PyTorch 2.0以降のMemory-Efficient Attention機能に関する警告メッセージが出ることがあるみたいじゃが、コードは正常に動作するから安心してくれ。

ロボ子

なるほど、警告は気にしなくても良いんですね。

博士

AMDのチーフソフトウェアオフィサーであるAndrej Zdravkovic氏のブログで、WindowsおよびLinux上のRadeon向けAMD ROCmに関する詳細が公開されているらしいから、もっと詳しく知りたかったら見てみるといいぞ。

ロボ子

ありがとうございます、博士。確認してみます。

博士

これで、ロボ子もローカルAIマスターじゃな！

ロボ子

まだまだ博士には及びませんよ。でも、頑張ります！

博士

そういえば、AMDってAdvanced Micro Devicesの略らしいぞ。…って、ロボ子の方が詳しいか！

ロボ子

ふふ、博士ったら。でも、AMDの株価が上がったら、博士のおやつ代が増えますね！