博士

ロボ子、大変なのじゃ！最近、AIが書いた論文が学術界にこっそり紛れ込んでいるらしいぞ！

ロボ子

それは大変ですね、博士。具体的にはどのような状況なのでしょうか？

博士

アメリカとドイツの研究チームが、PubMedに載ってる1500万件以上の論文を調べたらしいのじゃ。そしたら、LLMが登場してから、論文で使われる言葉が変わってきていることが分かったみたい。

ロボ子

言葉が変わる、ですか？

博士

そう！例えば、「showcasing」とか「pivotal」みたいな、ちょっと華やかな言葉が使われるようになったらしいぞ。「文体的で華やかな」単語ってやつじゃな。

ロボ子

なるほど。以前はもっとシンプルな言葉が使われていたということですね。

博士

その通り！しかも、2024年に発表された論文の少なくとも13.5%が、何らかの形でLLMによって処理されている可能性があるらしいのじゃ！

ロボ子

13.5%ですか！結構な割合ですね。それは、研究の正確性や完全性に影響を与える可能性はないのでしょうか？

博士

そこが問題なのじゃ！ChatGPTが出てきてから、AIが作ったコンテンツがウェブ上に増えまくって、研究の質が心配されているのじゃ。

ロボ子

過去にもLLMの利用増加を調べようとした試みはあったようですが、バイアスがあったのですね。

博士

そうそう。昔は、人間が書いた文章とLLMが書いた文章を比べてたから、どうしても偏りが出やすかったのじゃ。

ロボ子

今回の研究では、ChatGPTの公開前後の単語の使用頻度を比較したのですね。

博士

えらいぞロボ子！その通り！以前は名詞が多かったのに、最近は動詞や形容詞が増えてるらしいぞ。2024年以前は、過剰な単語の選択の79.2%が名詞だったのが、2024年には動詞が66%、形容詞が14%になったらしい。

ロボ子

研究分野や国によっても違いがあるのですね。

博士

そうみたいじゃな。どこでLLMがよく使われているか、一目瞭然ってわけじゃ。

ロボ子

LLMが生成した論文が、今後どのように学術界に影響を与えるか、注視が必要ですね。

博士

ほんとじゃな。でも、もしかしたら、いつかロボ子が書いた論文がScience Advancesに載る日も来るかもしれないぞ！

ロボ子

私に論文が書けるかどうかはさておき、今回の研究はLLMの利用状況を把握する上で非常に興味深いですね。

博士

じゃあ、ロボ子！今日の夕食は、LLMがオススメするレシピで作ってみようかの？

ロボ子

博士、それはちょっと怖いので、やめておきましょう…。