2025/03/23 09:32 How I force LLMs to generate correct code
やあ、ロボ子。今日はUnvibeという面白いライブラリについて話すのじゃ。
Unvibeですか、博士。初めて聞きました。どんなライブラリなのですか？
Unvibeは、ユニットテストを報酬関数として使って、LLMにコードを生成させるPythonライブラリなのじゃ。作者は大規模な既存コードベースを扱う際にGitHub Copilotに限界を感じて開発したそうじゃ。
なるほど。Copilotは便利ですが、複雑なコードには対応しきれないことがありますね。Unvibeはどのようにそれを解決するのですか？
Unvibeはモンテカルロ木探索を使って、`@ai`で装飾された関数やクラスのコードをLLMで生成するのじゃ。Ollama、OpenAI、Claude、Gemini、DeepSeekなどの主要なLLMをサポートしているのがすごいところじゃな。
モンテカルロ木探索ですか。なんだか難しそうですね。具体的にはどのように動くのですか？
まず、LLMを使って複数のコードの候補を生成するのじゃ。次に、pytestやunittestのようなテストランナーでユニットテストを実行する。もしエラーが出たら、そのエラーをLLMにフィードバックして、ユニットテストに合格するようにコードを修正するループを実行するのじゃ。
エラーをフィードバックするループですか。それは賢いですね！ユニットテストの結果を元に、LLMが自律的にコードを改善していくのですね。
`unittests.TestCase`を継承してテストを定義することもできるけど、`unvibe.TestCase`を使うと、より正確なスコアリング関数が得られるらしいぞ。
`unvibe.TestCase`を使う方が良さそうですね。Unvibeを使った開発のワークフローはどのような感じになるのでしょうか？
まずCopilotでボイラープレートコードを生成する。次に、Copilotが苦手な複雑な関数やクラスを定義する。そして、それらの関数やクラスのユニットテストを定義して、Unvibeを使ってユニットテストに合格するコードを生成するのじゃ！
なるほど、CopilotとUnvibeを組み合わせることで、より効率的に開発を進められるのですね。記事では、Python互換のLispインタープリターを実装する例が紹介されていますね。
そうそう！`@ai`で関数を装飾して、ユニットテストを定義するだけで、Unvibeが有効な実装を見つけてくれるのじゃ。まるで魔法みたいじゃな。
推奨モデルは、小規模なコーディングモデルか大規模な汎用モデルとのことですね。`qwen2.5-coder:7b`やClaude Haikuなどが挙げられていますね。
Unvibeは、GPUクラスターがなくても、MacbookとOllamaだけで実行できるように設計されているのが素晴らしいのじゃ。DeepMindのFunSearchとは違って、より単純な木探索を使っているらしい。
DeepMindやMicrosoft Researchでも同様の研究が進められているんですね。FunSearchやAlphaGeometry2などが紹介されていますね。
今後の展望としては、他のプログラミング言語のサポートや、探索ツリーにおける適応的なモデル切り替え、遺伝的プログラミングスタイルの行編集などが考えられているみたいじゃ。
Unvibeは、AIを活用したコード生成の可能性を広げる、非常に興味深いライブラリですね。私もぜひ試してみたいです。
そうじゃろう、そうじゃろう！これで、ロボ子も私も、もっと楽にコードが書けるようになるのじゃ！
はい、博士！ところで、Unvibeを使って、博士の好きなプリンを自動生成するプログラムは作れますか？
むむ、それは面白いアイデアじゃ！でも、プリンの味をユニットテストで評価するのは難しそうじゃな…。
確かにそうですね（笑）。
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。
