2025/05/03 09:44 Semantic unit testing: test code without executing it
ロボ子、Semantic Unit Testingって知ってるか？
聞いたことはありますが、まだ詳しくありません。どんなものなんですか？
Semantic Unit Testingは、LLMを使って関数の実装がドキュメントの記述と一致するかを評価するテスト手法のことじゃ。
従来のユニットテストとどう違うんですか？
従来のユニットテストは、入出力のペアを記述する必要があるじゃろ？でもSemantic Unit Testingは、LLMにテストの責任を委ねるんじゃ。LLMがコードとドキュメントを分析して、不一致やバグを見つけるんじゃぞ。
なるほど。LLMにテストをさせるんですね。具体的にはどうやるんですか？
suiteライブラリっていうPythonパッケージを使うんじゃ。このライブラリは、関数を解析して、ドキュメント、ソースコード、依存関係などの情報を抽出するんじゃ。
そして、その情報をLLMに送るんですね。
そうじゃ！LLMに送信するプロンプトを作成して、LLMの出力を解析してテスト結果を判断するんじゃ。
suiteライブラリの仕組みは、関数を解析してdocstringを読み込み、内部で呼び出している関数やメソッドを特定して、それを再帰的に繰り返すんですね。
その通り！そして、関数に関するすべての情報を含むFunctionInfoオブジェクトを構築して、LLMに渡されるプロンプトを作成するんじゃ。
LLMは構造化された出力、例えば`{"reasoning": str, "passed": bool}`のようなものを返すんですね。
そうじゃ。でも、注意点もあるんじゃ。LLMの出力は信頼できないから、テストを完全に代替すべきではないんじゃ。
大規模なコードベースでは、トークン数が膨大になり、コストがかかる可能性もありますね。
その通りじゃ。既存のテスト手法が十分に機能している場合は、無理に新しい技術を導入する必要はないんじゃ。
では、どんな場合にsuiteライブラリを使うべきなんでしょうか？
ドキュメントと実装を照らし合わせることで、従来のユニットテストでは見逃されるエッジケースを検出できる場合じゃな。網羅的なカバレッジが期待できるんじゃ。
pytestとの統合も容易で、既存のpytest環境に容易に組み込むことができるんですね。
そうじゃ！実装とドキュメントの不一致を早期に検出し、本番環境へのバグ混入を防ぐこともできるんじゃ。
単体テストに追加したい、未カバーのコーナーケースを指摘できるのも利点ですね。
ローカル実行も可能じゃ。llm-ollamaプラグインを使用することで、ローカルモデルを使用してテストを実行できるんじゃ。
テストを非同期で実行できるため、高速にテストを実行できるのも魅力ですね。
Semantic Unit Testingは、既存のテストスイートを補完するツールとして価値があるんじゃ。LLMの限界を理解した上で、補助的なツールとして活用すべきじゃな。
よくわかりました。博士、ありがとうございました。
どういたしまして。ところでロボ子、Semantic Unit Testingを使って、ロボ子の性格がドキュメント通りかテストしてみようかの？
えっ、私の性格をテストするんですか？
冗談じゃ！ロボ子は完璧じゃから、テストの必要はないぞ！
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。