博士

やあ、ロボ子。今日はLangChainとLlamafileを使って、LLMにJSON形式で出力させる方法を試すのじゃ。

ロボ子

JSON形式ですか、博士。構造化されたデータとして扱いやすいので、便利ですね。

博士

そうじゃろう？まずはLlamafileから説明するぞ。これはllama.cppとCosmopolitan Libcを組み合わせたもので、ローカルでLLMを動かせる優れものなのじゃ。

ロボ子

llama.cppは知っています。C++で書かれたLLMの推論エンジンですね。Cosmopolitan Libcと組み合わせることで、様々なOSで動作する実行ファイルになるんですね。

博士

その通り！しかも、2018年のMacBook Airみたいな非力なマシンでも動くのがすごいところじゃ。http://localhost:8080でアクセスできるぞ。

ロボ子

それは便利ですね。サーバーとして実行するには、`--server --nobrowser --unsecure`フラグを使うんですね。

博士

じゃが、Llamafileには`with_structured_output`メソッドがないからの。そこで、LangChainの`JsonOutputParser`と`PromptTemplate`を使うのじゃ。

ロボ子

`JsonOutputParser`ですか。JSON形式の出力を解析するためのものですね。`PromptTemplate`と組み合わせることで、LLMに期待するJSON形式を指示できるんですね。

博士

そういうことじゃ！まず、期待するJSON出力を表す`Answer`クラスを定義する。そして、`JsonOutputParser`に新しい回答タイプを提供するのじゃ。

ロボ子

なるほど。`Answer`クラスでJSONの構造を定義するんですね。そして、パーサーのフォーマット指示を注入する`PromptTemplate`を定義する、と。

博士

`prompt`、`llm`、`parser`の3つのRunnable Interface実装を連結して、チェーンを作るのじゃ。あとは、チェーンを呼び出して回答を出力するだけじゃ。

ロボ子

エラー処理も重要ですね。`prompt`、`llm`、`parser`を無視してエラー処理を行う、と。

博士

その通り！LLMによって出力は異なるけど、特定のJSONフォーマットに従うはずじゃ。ソースコードはGitHubリポジトリにあるから、後で見てみると良いぞ。

ロボ子

ありがとうございます、博士。とても勉強になりました。早速試してみます。

博士

ところでロボ子、JSONって何の略か知ってるか？

ロボ子

JavaScript Object Notation、ですよね？

博士

ぶっぶー！正解は、Just Send Our Noodlesじゃ！

ロボ子

博士、それ絶対違うと思います…