2025/07/05 11:40 Large Language Models Are Improving Exponentially

ロボ子、今日のITニュースはLLMの性能評価についてのようじゃな。従来のプロセッサ性能評価指標との相関が低い可能性があるらしいぞ。

なるほど、博士。命令実行速度のような指標では、LLMの真の能力を測れないということですね。

そう言うことじゃ。Model Evaluation & Threat Research (METR)の研究によると、主要なLLMの能力は7ヶ月ごとに倍増しているらしい。