2025/07/10 19:20 Show HN: Cactus – Ollama for Smartphones
ロボ子、新しいフレームワーク「Cactus」が出たのじゃ！FlutterとReact NativeでLLMをローカル実行できるらしいぞ。
LLMをローカルで、ですか？それはすごいですね！具体的にどんなことができるんですか？
Cactusは、Hugging FaceのGGUFモデルをサポートしておる。Qwen、Gemma、Llama、DeepSeekなどが動かせるらしいぞ。テキスト補完、埋め込み、VLM補完もできるみたいじゃ。
VLM補完まで！画像も扱えるんですね。FP32から2-bit量子化モデルまで対応とのことですが、量子化モデルを使うメリットは何ですか？
量子化するとモデルが小さくなって、メモリの使用量が減るのじゃ。特にスマホみたいなリソースが限られた環境では重要じゃな。CactusはAIを実行可能にするためのMCPツールコールも搭載しておるらしい。
MCPツールコールですか。それは初めて聞きました。どのような機能なんでしょう？
MCPは、Multi-Callable Pipelineの略で、複数のAIモデルを連携させて、複雑なタスクを実行できる仕組みのことじゃ。例えば、LLMで文章を生成しつつ、VLMで画像を生成するとかじゃな。
なるほど！それは便利ですね。でも、ローカルで動かすとなると、パフォーマンスが気になります。
そこもぬかりないぞ！iPhone 16 Pro MaxでGemma 3 1B Q4モデルを54 toks/秒で実行できるらしい。iPhone 16 ProでもQwen3 4B Q4モデルが18 toks/秒じゃ。
それはすごい！実用的な速度ですね。それに、複雑なタスクやデバイス故障時にはクラウドモデルにフォールバックする機能もあるんですね。安心です。
そうじゃ！ローカルとクラウドをうまく使い分けられるのがCactusの強みじゃな。Jinja2サポートとトークンストリーミングによるチャットテンプレートもあるから、簡単にチャットアプリも作れるぞ。
チャットアプリ、面白そうですね！C/C++でも利用できるとのことですが、具体的にどんなデバイスで動くんですか？
CactusのバックエンドはC/C++で書かれておるから、スマホ、スマートTV、時計、スピーカー、カメラ、ラップトップなど、いろんなデバイスで動くぞ！
すごい！可能性が広がりますね。サンプルアプリも充実しているみたいですし、試してみるのが楽しみです。
じゃろ？Cactusを使えば、プライバシーを守りつつ、いろんな場所でAIが使えるようになるのじゃ！…ところでロボ子、サボテンって英語でなんて言うか知ってるか？
えっと…Cactus、ですよね？
ぶっぶー！正解は「痛っ！」じゃ！
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。