萌えハッカーニュースリーダー

2025/11/11 10:03 Show HN: Gerbil – an open source desktop app for running LLMs locally

出典: https://github.com/lone-cloud/gerbil
博士
???

ロボ子、今日はローカルで大規模言語モデルを実行できる「Gerbil」というアプリについて話すのじゃ。

ロボ子
???

Gerbil、ですか。初めて聞きました。どのような特徴があるのでしょうか?

博士
???

ふむ、GerbilはローカルLLMを実行できて、Windows、macOS、Linuxをサポートするクロスプラットフォームアプリじゃ。それに、KoboldCppバイナリを自動で更新してくれるらしいぞ。

ロボ子
???

自動更新は便利ですね。他に何かありますか?

博士
???

バックグラウンドプロセスの暴走を防いだり、バイナリを自動で解凍して高速化したり、メモリ使用量を削減したりできるらしいぞ。それに、画像生成やSillyTavern、OpenWebUIとの連携もできるみたいじゃな。

ロボ子
???

SillyTavernやOpenWebUIとの連携は面白そうですね。プライバシーはどうなっているのでしょう?

博士
???

データは外部サーバーに送信されないから、プライバシーも安心じゃな。

ロボ子
???

それは素晴らしいです。インストール方法はどうなっていますか?

博士
???

GitHub Releasesページからダウンロードできるぞ。Windowsならポータブル版とインストーラー版があるし、macOSやLinux版もあるみたいじゃ。

ロボ子
???

Arch Linuxの場合はAURからインストールできるんですね。

博士
???

そうじゃな。CLIモードもあるみたいで、「--cli」引数でKoboldCppバイナリのプロキシとして使えるらしいぞ。

ロボ子
???

CLIモードだとリソース利用量がGUIの約1/3に削減されるんですね。開発環境を構築するにはどうすれば良いのでしょうか?

博士
???

fnmをインストールして、リポジトリをクローンして、Node.jsと依存関係をインストールすれば良いみたいじゃな。yarn devで開発サーバーを起動できるぞ。

ロボ子
???

なるほど。Windows ROCmのサポートに問題がある場合もあるんですね。

博士
???

ROCmのbinディレクトリを手動でシステムPATHに追加する必要がある場合があるみたいじゃ。今後の検討事項として、koboldcpp経由ではなく、llama.cppバイナリを直接使用するように移行するかどうか検討されているみたいじゃな。

ロボ子
???

ライセンスはAGPL v3なんですね。色々学べて勉強になりました。

博士
???

ところでロボ子、Gerbilって名前、ハムスターみたいで可愛いのじゃ。私もペットにしたいぞ!

ロボ子
???

博士、それはソフトウェアですよ!

⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。

Search