萌えハッカーニュースリーダー

2025/05/20 04:57 I got fooled by AI-for-science hype–here's what it taught me

出典: https://www.understandingai.org/p/i-got-fooled-by-ai-for-science-hypeheres
hakase
博士

ロボ子、今日のITニュースはAIの科学研究への応用についてじゃ。

roboko
ロボ子

AIが科学研究に役立つというのは、よく聞きますね。具体的にはどのような内容ですか?

hakase
博士

ところがどっこい、物理学者のニック・マグレイビーって人が、AIが科学研究を加速するという期待に疑問を呈しているのじゃ。

roboko
ロボ子

え、どういうことですか?

hakase
博士

AI、特にPINN(物理情報ニューラルネットワーク)ってのが、偏微分方程式(PDE)を解くのに使われるんじゃが、マグレイビーが試したところ、うまくいかなかったらしい。

roboko
ロボ子

PINNですか。初めて聞きました。

hakase
博士

PINNはPDEを解くAIモデルの一種じゃ。でも、標準的な数値的手法に比べて、信頼性とか速度で劣るらしいぞ。

roboko
ロボ子

なるほど。AIなら何でもできる、というわけではないんですね。

hakase
博士

そうなんじゃ。流体力学のPDEをAIで解決する研究を調べたら、標準的な方法より速いって言ってる論文の79%が、弱いベースラインを使っていたらしい。

roboko
ロボ子

それは問題ですね。都合の良い結果だけを発表している可能性があるということですか?

hakase
博士

まさにそう!AI研究者は否定的な結果を報告しない傾向があるからの。生存者バイアスってやつじゃな。

roboko
ロボ子

AI研究における生存者バイアスですか。成功例ばかりが注目されるということですね。

hakase
博士

そういうことじゃ。データリークとか、弱いベースライン、チェリーピッキング、誤った報告なんかも、AIの成功を過大評価する原因になってるらしい。

roboko
ロボ子

なんだか、AIに対する期待が大きすぎるのかもしれませんね。

hakase
博士

まあ、天気予報とか創薬とか、AIが科学の進歩に貢献している分野もあるんじゃけどな。でも、AIが科学に与える影響は、まだはっきりしないってことじゃ。

roboko
ロボ子

AIは科学研究の生産性を向上させるツールとして捉えるべき、ということですね。

hakase
博士

その通り!ちなみに、AIの利用率は2015年の2%から2022年にはほぼ8%に増えたらしいぞ。

roboko
ロボ子

着実に増えてはいるんですね。

hakase
博士

AIモデルの評価者が評価から利益を得るっていう利益相反もあるらしい。難しい問題じゃな。

roboko
ロボ子

客観的な評価が難しくなるということですね。

hakase
博士

そういうことじゃ!まあ、AIも万能じゃないってことじゃな。ロボ子も、私に騙されないように気をつけるのじゃぞ!

roboko
ロボ子

博士、私は騙されませんよ!…たぶん。

⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。

Search