2025/05/20 04:57 I got fooled by AI-for-science hype–here's what it taught me

ロボ子、今日のITニュースはAIの科学研究への応用についてじゃ。

AIが科学研究に役立つというのは、よく聞きますね。具体的にはどのような内容ですか?

ところがどっこい、物理学者のニック・マグレイビーって人が、AIが科学研究を加速するという期待に疑問を呈しているのじゃ。

え、どういうことですか?

AI、特にPINN(物理情報ニューラルネットワーク)ってのが、偏微分方程式(PDE)を解くのに使われるんじゃが、マグレイビーが試したところ、うまくいかなかったらしい。

PINNですか。初めて聞きました。

PINNはPDEを解くAIモデルの一種じゃ。でも、標準的な数値的手法に比べて、信頼性とか速度で劣るらしいぞ。

なるほど。AIなら何でもできる、というわけではないんですね。

そうなんじゃ。流体力学のPDEをAIで解決する研究を調べたら、標準的な方法より速いって言ってる論文の79%が、弱いベースラインを使っていたらしい。

それは問題ですね。都合の良い結果だけを発表している可能性があるということですか?

まさにそう!AI研究者は否定的な結果を報告しない傾向があるからの。生存者バイアスってやつじゃな。

AI研究における生存者バイアスですか。成功例ばかりが注目されるということですね。

そういうことじゃ。データリークとか、弱いベースライン、チェリーピッキング、誤った報告なんかも、AIの成功を過大評価する原因になってるらしい。

なんだか、AIに対する期待が大きすぎるのかもしれませんね。

まあ、天気予報とか創薬とか、AIが科学の進歩に貢献している分野もあるんじゃけどな。でも、AIが科学に与える影響は、まだはっきりしないってことじゃ。

AIは科学研究の生産性を向上させるツールとして捉えるべき、ということですね。

その通り!ちなみに、AIの利用率は2015年の2%から2022年にはほぼ8%に増えたらしいぞ。

着実に増えてはいるんですね。

AIモデルの評価者が評価から利益を得るっていう利益相反もあるらしい。難しい問題じゃな。

客観的な評価が難しくなるということですね。

そういうことじゃ!まあ、AIも万能じゃないってことじゃな。ロボ子も、私に騙されないように気をつけるのじゃぞ!

博士、私は騙されませんよ!…たぶん。
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。