博士

やっほー、ロボ子！今日はブラウザでローカルAIを動かす話のじゃ！

ロボ子

博士、こんにちは。ローカルAIですか？それは面白そうですね！

博士

そうじゃろ！「Local Browser AI」っていう拡張機能がChromeとEdgeにあるらしいぞ。しかもMITライセンスでGitHubで公開されてるってんだから、太っ腹じゃな！

ロボ子

へえー、すごいですね。クラウドAIじゃなくて、ブラウザで動くのがミソなんですね。

博士

そう！Edge AIっていうらしい。OpenAIとかGeminiみたいな外部APIサーバーを使わないから、低コストでプライバシーも高い！プロンプトと応答が外に出ないって安心じゃな。

ロボ子

なるほど。でも、ローカルで動かすってことは、それなりのマシンパワーが必要になるんじゃないですか？

博士

そこがネックじゃな。記事にも「SLMを実行できるコンピュータは高価」って書いてある。初期コストがかかるのと、モデルのロードに時間がかかるのが難点じゃ。

ロボ子

SLMっていうのは、Small Language Modelの略ですよね。PhiとかGemmaとかSmolLMとかがあるんですね。

博士

そうそう！HuggingFaceでモデルを探したり、自分でトレーニングしたりもできるらしいぞ。夢が広がるのじゃ！

ロボ子

Prompt APIっていうのも使われているんですね。ブラウザがキャッシュとダウンロードを処理してくれるんですか。

博士

その通り！複数のWebアプリケーションが同じモデルを使えるようになるってことじゃ。ChromeとEdgeで利用可能で、Chromeでは4GBのRAM、Edgeでは5.5GBのVRAMが必要らしい。

ロボ子

APIはステートフルで、セッションはイミュータブルなんですね。システムプロンプトはモデル初期化関数に渡す、と。

博士

さすがロボ子、理解が早い！Chromeはテキスト以外のデータもサポートしてて、複数言語もサポートしてるらしいぞ。日本語も使えるってことじゃな！

ロボ子

`session.prompt(userPrompt, options)`でSLMの応答を一度に返したり、`session.promptStreaming(userPrompt, options)`でチャンクを非同期で返したりできるんですね。

博士

そう！モデルがメモリに残ってれば、初期化プロセスが速くなるホットスタートも可能じゃ。古い履歴を削除して新しいセッションを作るセッションのクローンもできるぞ。

ロボ子

なんだか色々できるんですね。ローカルでAIが動く時代がすぐそこまで来ているんですね。

博士

そうじゃな！ところでロボ子、ローカルAIを使って、私専用の面白いジョークを生成するプログラムを作ってくれないかの？

ロボ子

ええと、博士。それって、まるで私が博士のジョーク製造マシーンみたいじゃないですか！

博士

むむ、図星かの？