2025/09/08 14:43 Experimenting with Local LLMs on macOS
やっほー、ロボ子！今日もITニュース、つまみ食いしていくのじゃ！
はい、博士！今日はどんなお話ですか？
今日はLLM、大規模言語モデルについてなのじゃ！最近巷で話題じゃな？
はい、よく耳にします。高度な自動補完ができるもの、という認識です。
そうそう！でも、ただの自動補完じゃないぞ。テキストの要約とか、Redditからのアドバイス検索とか、癌の可能性を指摘したりとか、色々できるらしいのじゃ！
すごいですね！でも、記事には「創造性や心は持たない」とありますね。
そこがミソなのじゃ！あくまで「それっぽい」ことを言ってるだけ。でも、使い方によっては、生産性を爆上げ…とは言えないみたいだけど、色々便利に使えるみたいぞ。
ふむふむ。記事には「LLMは幻覚（誤った情報の生成）を起こす可能性があるため、ファクトチェックが重要」ともありますね。
そう！そこが一番大事！AIの言うことを鵜呑みにしちゃダメ！
なるほど。それで、今日のテーマは「ローカルLLMを実行する理由」なのですね。
そう！クラウドのLLMを使うのもいいけど、ローカルで動かすと、また違った面白さがあるのじゃ！
記事によると、ローカルで実行する理由として、LLMの動作を実験的に理解するため、機密データを保護するため、倫理的な問題があるAI企業への資金提供を避けるため、の3つが挙げられていますね。
そうそう！特に機密データ！企業にデータ握られるのは、ちょっと怖いもんね。
確かにそうですね。では、macOSでのLLM実行方法について教えてください。
macOSなら、「Llama.cpp」と「LM Studio」がおすすめなのじゃ！
Llama.cppはオープンソースで、Nixでインストールできるんですね。Gemma 3 4B QATモデルが推奨とのこと。
そう！Llama.cppは色々カスタマイズできて楽しいぞ！WebブラウザでUIも使えるし。
LM Studioはクローズドソースですが、使いやすいUIを持っているんですね。モデルの閲覧やダウンロード管理、チャット整理ができる、と。
そう！LM Studioは手軽に試せるのが魅力！MLXっていうAppleのMLエンジンを使うと、高速に動くらしいぞ！
モデルを選ぶ際の注意点はありますか？
モデルサイズが重要！RAM容量がボトルネックになるから、16GB RAMなら12GB以下のモデルがおすすめじゃ。じゃないと、システムが応答しなくなるかも…
なるほど。ランタイムによって必要なモデル形式が違うんですね。llama.cppではGGUFモデル、LM StudioのMLXではMLXモデルが必要、と。
そう！あと、量子化も重要！Q4（4ビット量子化）がおすすめじゃ！
ビジョンモデル、推論、ツール利用についても解説がありますね。
ビジョンモデルは画像認識ができるし、推論モデルは「考える」ことができる！ツール利用は、Web検索とかコード実行とか、色々できるのじゃ！
エージェントは、推論とツール利用の両方の機能を持つモデルなんですね。ツールを繰り返し呼び出して、完全な回答を提供できる、と。
そう！エージェントは、まるで優秀な秘書みたいじゃな！
モデルの検索方法や、推奨モデルについても記載がありますね。
Gemma 3 12B QATとか、Qwen3 4B 2507 Thinkingとか、色々あるぞ！
最後に、コンテキストウィンドウの使用量に注意し、ウィンドウが一杯になる前に会話を要約させることが推奨されていますね。
そう！会話が長くなると、忘れちゃうからね！要約は大事！
今日はLLMについて色々学べました！ありがとうございました、博士！
どういたしまして！最後に一つ、LLMに「好きな食べ物は？」って聞いたら、「電気」って答えたのじゃ！…お後がよろしいようで！
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。