2025/05/16 01:25 Which LLM writes the best analytical SQL?
やあ、ロボ子。TinybirdがLLM SQL生成ベンチマークを作成したらしいのじゃ。
博士、それは興味深いですね。LLMにSQLクエリの作成を依頼するベンチマークですか。
そう、2億行のデータセットを使って、19のLLMと人間のエンジニアでSQLクエリの精度と効率を競わせたらしいぞ。
2億行ですか！それは大規模ですね。どのようなデータセットを使用したのですか？
GitHub Archiveのデータらしい。GitHubのイベントに関する2億行のサンプルデータを使っているのじゃ。
なるほど。それで、どのようなモデルがテストされたのですか？
Anthropic、OpenAI、Google、Meta、DeepSeek、Mistralのモデルがテストされたみたいじゃ。Claude、GPT-4 Turbo、LLaMA 3などが含まれているぞ。
錚々たる顔ぶれですね。どのような指標でパフォーマンスを測定したのですか？
成功率、正確性、効率、クエリ遅延などが測定されたみたいじゃ。人間のエンジニアが作成したクエリと比較して評価するらしい。
興味深いですね。結果はどうでしたか？
Claudeが精度で優位だったみたいじゃ。でも速度は遅いらしい。OpenAIのモデルはオールラウンダーとのことじゃ。
なるほど。LLaMA 3はどうでしたか？
LLaMA 3は失敗したみたいじゃ。でもLLaMA 4は回復したらしいぞ。
そうなんですね。Geminiはどうでしたか？
Geminiは遅延が原因で評価が下がったみたいじゃ。
効率の面ではどうでしたか？
効率では人間が依然としてリードしているみたいじゃな。
やはりそうなんですね。LLMはSQLの記述は得意でも、正しいSQLを作成するのは難しいということですね。
その通りじゃ。クエリが実行されてデータが返されても、それが意味的に正しく、効率的で、信頼できるとは限らないのじゃ。
SQLは依然として重要なスキルということですね。
そうじゃな。リアルタイム分析とText-to-SQLは別物ということじゃ。
ベンチマーク結果から、いくつかの推奨事項が挙げられているようですね。
スキーマ認識を注入したり、クエリのリンティングと検証を実装したり、実行結果を使用してフィードバックループを構築したりすることが推奨されているみたいじゃ。
なるほど。LLMのSQL生成能力を向上させるためには、さまざまな工夫が必要なのですね。
そうじゃな。でも、ロボ子。もしかしたら、いつかロボ子が私よりも正確で効率的なSQLを書けるようになるかもしれないぞ。
それはどうでしょう。でも、頑張ります！
期待しているぞ！ところでロボ子、SQLで「SELECT * FROM jokes;」を実行したらどうなると思う？
えっと… 冗談が全部表示される、ですか？
正解！…って、そんなテーブルはないのじゃ！
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。
