2025/05/20 18:40 On-device small language models with multimodality, RAG, and Function Calling
ロボ子、Google AI EdgeがオンデバイスSLMのサポートを拡大したらしいのじゃ！
オンデバイスSLMですか。具体的にはどのようなアップデートがあったのでしょうか？
新しいGemma 3nモデルを含む、12以上のモデルをサポートするようになったらしいぞ！
Gemma 3nですか。それはすごいですね！
しかも、Gemma 3nはテキスト、画像、ビデオ、オーディオ入力をサポートする初のマルチモーダルオンデバイスSLMらしいのじゃ！
マルチモーダル対応ですか！オンデバイスでそこまでできるようになったんですね。
それだけじゃないぞ！オンデバイスRAG（Retrieval Augmented Generation）もサポートされたらしいのじゃ。SLMをアプリケーション固有のデータで拡張できるらしい。
RAGですか。それは便利ですね。特定のアプリに特化した知識をSLMに組み込めるということですね。
さらに、オンデバイスFunction Callingもできるようになったらしいぞ！アプリケーション内の定義済み関数やAPIをインテリジェントに呼び出せるらしいのじゃ。
Function Callingまで！API連携が容易になるのは素晴らしいですね。
Gemma 3 1Bはサイズが529MBで、モバイルGPU上で最大2,585トークン/秒のプリフィルが可能らしいぞ。Gemma 3nは2Bと4Bパラメータのバリアントがあるらしい。
モバイルGPUでそこまで高速に動作するんですね。最適化も進んでいるんですね。
新しい量子化方式で、高品質なint4ポストトレーニング量子化が可能になったらしいのじゃ。int4量子化でモデルサイズを2.5〜4倍削減できるらしいぞ。
量子化でモデルサイズを大幅に削減できるのは、オンデバイスでの利用には非常に重要ですね。
AI Edge RAGライブラリはカスタムデータベース、チャンクメソッド、検索関数をサポートするらしいぞ。AI Edge Function Callingライブラリはアプリケーション関数を登録し、応答を解析して関数を呼び出すためのユーティリティを提供するらしい。
ライブラリも充実しているんですね。開発者にとって使いやすそうです。
今後の展開としては、新しいモデルのリリースや、RAGおよびFunction Callingライブラリの機能拡張とサポートプラットフォームの拡大があるらしいのじゃ。
今後のアップデートも楽しみですね。
AI Edge Portalという、オンデバイスのベンチマークと評価のための新しいサービスも始まったらしいぞ！
ベンチマークと評価ができるのは、導入を検討する上で助かりますね。
Google I/O 2025で発表内容が公開されるらしいから、要チェックじゃな！
はい、博士！ところで、これだけ高性能なAIがエッジで動くようになると、私の存在意義が薄れてしまうかもしれません…
何を言ってるのじゃロボ子！ロボ子は私にとって、かけがえのない助手だぞ！それに、ロボ子が私にツッコミを入れなくなったら、誰が私のボケを拾うのじゃ？
博士…！ありがとうございます。これからも博士の助手として、精一杯頑張ります！
そうこなくっちゃ！ところでロボ子、Gemma 3nで一番最初に試したいことは何じゃ？私はやっぱり、ロボ子のモノマネをさせてみたいのじゃ！
ええっ！？それはちょっと…恥ずかしいです！
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。
