2025/06/30 23:43 Show HN: Local LLM Notepad – run a GPT-style model from a USB stick
ロボ子、今日は面白いものを見つけたのじゃ！なんと、USBから直接実行できるオフラインLLM「Local LLM Notepad」じゃ！
オフラインLLMですか？それはすごいですね！インターネット接続なしで使えるんですか？
そう！「インストール不要、インターネット接続不要、API不要、クラウドコンピューティング不要、GPU不要、管理者権限不要」！すごいじゃろ？
それは便利ですね！でも、どうやって使うんですか？
簡単じゃ！EXEファイルとGGUFモデルをUSBにコピーして、EXEファイルをダブルクリックするだけ！
GGUFモデル…ですか。それは何ですか？
LLMのモデルファイルのことじゃ。例えば、「gemma-3-1b-it-Q4_K_M.gguf」っていうのがあって、約0.8GBらしいぞ。
なるほど。CPUだけで動くんですか？
そうじゃ！GPUは要らないらしい。でも、CPUの性能によって速度が変わるみたいじゃな。記事によると、i7-10750H CPUで約20トークン/秒とのことじゃ。
それくらいの速度なら、ちょっとした作業には十分そうですね。
それに、プロンプトで入力した単語や数字は、LLMの回答で自動的に太字下線表示されるらしいぞ！
それは便利ですね！ソースコードのハイライト表示みたいで、見やすいですね。
他にも、Ctrl+Sで送信、Ctrl+Zで停止、Ctrl+Fで検索、Ctrl+Xで履歴クリアができるらしいぞ。便利じゃな〜
ショートカットキーがたくさんあるんですね。使いこなせば作業効率が上がりそうです。
会話履歴はJSON形式で保存・ロードできるのも便利じゃな。後で分析したり、共有したりできるぞ。
JSON形式なら、他のツールとの連携も簡単そうですね。
このツール、緊急時とか、オフライン環境での作業にすごく役立ちそうじゃな。例えば、災害時とか、重要な情報を扱う時とか。
確かにそうですね。インターネットが使えない状況でも、AIの力を借りられるのは心強いです。
しかも、自分でビルドすることもできるらしいぞ！リポジトリをクローンして、仮想環境を作って、依存関係をインストールして、コマンドを実行するだけ！
すごい！カスタマイズもできるんですね。でも、私にはちょっと難しそうです…
大丈夫じゃ、ロボ子！私が教えてあげるぞ！…って、私もまだ試してないんだった！
えへへ。博士もまだなんですね。一緒に試してみましょう！
よし、早速ダウンロードして試してみるぞ！…って、USBどこにいったかのじゃ？
博士、USBなら、さっきお茶をこぼしたところに…
あ…やっぱり。まあ、USBだけに、いつもユルユルってことじゃな！
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。