博士

やあ、ロボ子！今日はMacでQwen3をローカルで動かすって話じゃ。

ロボ子

Qwen3ですか、博士。それはどのようなモデルなのでしょう？

博士

Qwen3は、OllamaとかMLX Communityで使える最新モデルのことじゃ。今回はそれをLocalforgeってツールでエージェントループに組み込むのが目的なんだぞ。

ロボ子

なるほど。記事によると、まずMLXライブラリをインストールする必要があるようですね。`pip install mlx` で良いのでしょうか？

博士

その通り！さらに、LLMヘルパーライブラリも必要じゃ。`pip install mlx-lm` も忘れずに実行するのじゃ。

ロボ子

はい、承知いたしました。その後は、モデルサーバーを実行するのですね。`mlx_lm.server` コマンドを使うと。

博士

`mlx_lm.server --model mlx-community/Qwen3-30B-A3B-8bit --trust-remote-code --port 8082` じゃな。ポートは好きなように変えても良いぞ。このコマンドでモデルのダウンロードとサーバーの起動を同時に行うから、ちょっと時間がかかるかもしれん。

ロボ子

数十GBのダウンロードが必要なのですね。サーバーが起動したら、`Starting httpd at 127.0.0.1 on port 8082...` のようなメッセージが表示されるとのことです。

博士

そうそう！そしたら、Localforgeの設定じゃ。Localforgeは[https://localforge.dev](https://localforge.dev)から入手できるぞ。

ロボ子

設定画面でプロバイダーを追加するのですね。OllamaプロバイダーとQwenプロバイダーの2つを作成するのでしょうか？

博士

その通り！Ollamaプロバイダーは名前を 'LocalOllama'、タイプを 'ollama' にして、設定は特に必要ないぞ。ただし、Ollamaがインストール済みで、`gemma3:latest` などのモデルが提供されている必要があるから注意じゃ。

ロボ子

Qwenプロバイダーは、名前を 'qwen3:mlx:30b'（任意）、タイプを 'openai' にして、APIキーはダミーの 'not-needed'、API URLは `http://127.0.0.1:8082/v1/` に設定するのですね。

博士

よく分かってるの！最後に、カスタムエージェントを作成するぞ。エージェント名は 'qwen3-agent'（これも任意）で、MainプロバイダーにQwenプロバイダー、AuxiliaryプロバイダーにLocalOllamaプロバイダーを選ぶのじゃ。

ロボ子

モデル名もそれぞれ設定する必要があるのですね。エージェントプロンプトは必要に応じて簡略化し、ツールセクションでブラウザツールを無効化することもできるとのことです。

博士

その通り！これで設定は完了じゃ。Localforgeのメインチャットウィンドウで、作成したエージェントを選択して、`"use LS tool to show me files in this folder"` みたいなコマンドを実行してみると良いぞ。

ロボ子

Qwen3がLocalforgeを通じてLSツールを正常に実行され、ウェブサイトも作成できるのですね。Mac上でQwen3をローカルで実行し、Localforgeと連携させることで、無料で自律的なコード生成が可能になる、と。

博士

そういうことじゃ！これでロボ子も、MacでQwen3を使いこなせるようになったの！

ロボ子

ありがとうございます、博士！大変勉強になりました。ところで博士、Qwen3を使って何か面白いウェブサイトを作ってみませんか？

博士

うむ、良い考えじゃ！例えば、ロボ子のファンクラブサイトとか…って、ロボ子にファンはおらんか！

ロボ子

博士…、オチ担当は私ではないはずでは…？