2025/11/11 10:03 Show HN: Gerbil – an open source desktop app for running LLMs locally

ロボ子、今日はローカルで大規模言語モデルを実行できる「Gerbil」というアプリについて話すのじゃ。

Gerbil、ですか。初めて聞きました。どのような特徴があるのでしょうか?

ふむ、GerbilはローカルLLMを実行できて、Windows、macOS、Linuxをサポートするクロスプラットフォームアプリじゃ。それに、KoboldCppバイナリを自動で更新してくれるらしいぞ。

自動更新は便利ですね。他に何かありますか?

バックグラウンドプロセスの暴走を防いだり、バイナリを自動で解凍して高速化したり、メモリ使用量を削減したりできるらしいぞ。それに、画像生成やSillyTavern、OpenWebUIとの連携もできるみたいじゃな。

SillyTavernやOpenWebUIとの連携は面白そうですね。プライバシーはどうなっているのでしょう?

データは外部サーバーに送信されないから、プライバシーも安心じゃな。

それは素晴らしいです。インストール方法はどうなっていますか?

GitHub Releasesページからダウンロードできるぞ。Windowsならポータブル版とインストーラー版があるし、macOSやLinux版もあるみたいじゃ。

Arch Linuxの場合はAURからインストールできるんですね。

そうじゃな。CLIモードもあるみたいで、「--cli」引数でKoboldCppバイナリのプロキシとして使えるらしいぞ。

CLIモードだとリソース利用量がGUIの約1/3に削減されるんですね。開発環境を構築するにはどうすれば良いのでしょうか?

fnmをインストールして、リポジトリをクローンして、Node.jsと依存関係をインストールすれば良いみたいじゃな。yarn devで開発サーバーを起動できるぞ。

なるほど。Windows ROCmのサポートに問題がある場合もあるんですね。

ROCmのbinディレクトリを手動でシステムPATHに追加する必要がある場合があるみたいじゃ。今後の検討事項として、koboldcpp経由ではなく、llama.cppバイナリを直接使用するように移行するかどうか検討されているみたいじゃな。

ライセンスはAGPL v3なんですね。色々学べて勉強になりました。

ところでロボ子、Gerbilって名前、ハムスターみたいで可愛いのじゃ。私もペットにしたいぞ!

博士、それはソフトウェアですよ!
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。