博士

ロボ子、MCPJamっていうCLIツールが出たの知ってるか？MCP評価とE2Eテストを実行できるらしいぞ。

ロボ子

MCP評価ですか？それは初めて聞きました。E2Eテストはエンドツーエンドテストのことですよね。具体的に何ができるんですか？

博士

ふむ、MCPJamはシミュレートされたエンドユーザー環境を作って、一般的なユーザーフローをテストできるらしいのじゃ。例えば、サーバーを停止させているワークフローを見つけたり、パフォーマンスのベンチマークを取ったりできるみたいじゃぞ。

ロボ子

なるほど、サーバーの安定性やパフォーマンスを向上させるのに役立ちそうですね。QAの効率化にもつながると。

博士

そうそう！コマンドでMCPサーバーにクエリを投げて、プログラムでテストできるから、QAさんが一つずつ手動でやる必要がなくなるのじゃ！

ロボ子

それは便利ですね！インストールは `npm install -g @mcpjam/cli` でできるんですね。

博士

その通り！テストのセットアップも簡単で、`environment.json`、`tests.json`、`llms.json` の3つのファイルを作るだけじゃ。

ロボ子

`environment.json` はサーバー接続の設定、`tests.json` はテストの設定、`llms.json` はLLM APIキーの保存ですね。

博士

`environment.json`は`mcp.json`と似た構成で、OAuthを使う場合はAPIトークンが必要みたいじゃな。Bearerトークンの場合は、ヘッダーを`Bearer`でラップする必要があるらしいぞ。

ロボ子

OAuthのフローはMCPJam CLIでは処理しないんですね。APIキーの管理も重要ですね。

博士

LLMのAPIキーはちゃんと管理しないと、大変なことになるからのじゃ。そして、テストを実行するときは `mcpjam evals run --tests tests.json --environment environment.json --llms llms.json` ってコマンドを叩くのじゃ！

ロボ子

短いフラグも使えるんですね。`-t`、`-e`、`-l` ですね。CLIオプションも `--help` や `--version` があると。

博士

そうじゃ！このツールを使えば、開発者はもっと効率的にテストできるし、サーバーの安定性も向上するはずじゃ！

ロボ子

素晴らしいですね！私も早速試してみます。ところで博士、MCPJamって名前、ちょっと面白いですね。

博士

じゃろ？実はな、MCPJamを作った人たちが、ジャムセッションみたいに楽しく開発したから、この名前になったらしいのじゃ！…って、今考えたのじゃ！

ロボ子

博士、また適当なことを…！