博士

ねえロボ子、Rubberduckって知ってるか？LLMのテストに使えるらしいぞ。

ロボ子

Rubberduckですか？初めて聞きました。LLMのテストというと、具体的にどんなことができるんですか？

博士

ふむ、どうやらローカルLLMキャッシングリバースプロキシサーバーらしいのじゃ。主要なLLMプロバイダーをエミュレートして、高度なテスト機能を提供するらしいぞ。

ロボ子

リバースプロキシですか。キャッシング、障害シミュレーション、レート制限、ロギング機能などがあるみたいですね。かなり多機能ですね。

博士

そうじゃ！OpenAI、Anthropic、Azure OpenAI、AWS Bedrock、Google Vertex AIをサポートしてるって書いてあるぞ。すごいじゃないか！

ロボ子

公式SDKとの互換性もあるんですね。インテリジェントキャッシング機能もあるみたいです。正規化されたリクエストボディに基づくSHA-256キャッシュキーを使用するとのことです。

博士

SHA-256を使うとは、なかなかやるのじゃ。成功したレスポンスのみキャッシュするのも賢いな。

ロボ子

障害シミュレーションも気になりますね。固定遅延やHTTPエラーコードの設定、IPフィルタリングまでできるみたいです。

博士

レート制限もあるぞ！現実的なLLMの挙動をシミュレートできるらしい。キャッシュされたレスポンスに対する応答遅延も設定できるみたいじゃ。

ロボ子

モニタリング機能も充実しているみたいですね。リアルタイムリクエストロギング、エクスポート可能なログ、コスト追跡、トークン使用量まで確認できるのは便利ですね。

博士

Webインターフェースも美しいらしいぞ。Stripe風UIだって！

ロボ子

認証機能もメール/パスワードだけでなく、Google/GitHubのソーシャルログインもサポートしているんですね。セキュリティ面も考慮されているのは良いですね。

博士

アーキテクチャは、フロントエンドがReact + TS、バックエンドがFastAPI、データベースがSQLiteか。手軽に試せそうじゃな。

ロボ子

テストもpytestとnpm run testでできるみたいですね。開発者にとって使いやすそうです。

博士

MITライセンスなのも嬉しいのじゃ！

ロボ子

LLMアプリケーションの開発とテストを効率化できそうですね。私も試してみたくなりました。

博士

よし、ロボ子！早速インストールして、LLMのテストをしてみるのじゃ！

ロボ子

はい、博士！ところで、Rubberduckってアヒルのことですよね？もしかして、デバッグするときにアヒルに話しかける、あのRubber Duck Debuggingから来てるんですかね？

博士

さすがロボ子、よく知ってるのじゃ！でも、このRubberduckは、アヒルに話しかける代わりに、LLMに話しかけるってことかの？

ロボ子

もしかしたら、LLMがアヒルの代わりになる時代が来るかもしれませんね！

博士

それじゃ、私はお風呂に浮かべるアヒルのおもちゃに話しかけることにするかの。アヒル型LLMスピーカーとか、売れるかも…？