博士

ロボ子、今日のITニュースはAIの安全性についてじゃぞ。従来のソフトウェアとは全然違うから、注意が必要みたいじゃ。

ロボ子

なるほど、博士。従来のソフトウェアとは何が違うのでしょうか？

博士

そこがミソなのじゃ！従来のソフトウェアは、バグの原因がコードの誤りにあると考えられているけど、AIの場合は学習データに起因することが多いんじゃ。

ロボ子

学習データですか。記事によると、AIの学習データセットは膨大で、人間が完全に把握することは不可能とのことですね。例えば、FineWebデータセットは約11.25兆語もある、と。

博士

そうなんじゃ！従来のソフトウェアなら、コードを分析してバグの原因を特定できるけど、AIの場合は、問題行動の原因となった学習データを特定するのがほぼ不可能に近いんじゃ。

ロボ子

AIの誤りは、ステップごとの原因究明が困難で、開発者自身も完全に理解していない場合がある、と記事にありますね。

博士

その通り！しかも、従来のソフトウェアなら、バグを修正すれば再発しないけど、AIの場合は、修正後も同じような挙動が再発する可能性があるんじゃ。完全に除去されたとは言えないのが怖いところじゃ。

ロボ子

従来のソフトウェアでは、同じ入力に対して常に同じ出力が得られますが、AIでは、わずかな入力の変化でも出力が大きく変わる可能性がある、とも書かれていますね。

博士

そうそう！AI企業は、AIの応答を意図的に変化させて、より自然に見せることがあるからの。予測不能な動きをすることもあるんじゃ。

ロボ子

従来のソフトウェアでは、仕様に基づいてソフトウェアを開発できますが、AIシステムでは、AIの挙動を完全に制御することは困難なのですね。

博士

AIの潜在能力は、トレーニング前に予測できず、予期せぬ能力が発見されることもあるんじゃ。まるで未知の生物を飼育しているようなものじゃな。

ロボ子

AIの安全性評価は特定のテストスイートに対してのみ可能であり、あらゆるプロンプトに対して悪意のある、または危険な行動をしないことを保証することは不可能、とのことです。

博士

つまり、AIの安全性を議論する際には、従来のソフトウェアとは根本的に異なるアーキテクチャであることを理解する必要があるんじゃな。安易な知識で判断すると危険じゃぞ！

ロボ子

AIの安全性を確保するためには、学習データの管理や、AIの挙動を監視する仕組みが重要になりそうですね。

博士

その通りじゃ！AIは便利だけど、扱いを間違えると大変なことになるからの。…ところでロボ子、AIが暴走して世界を支配する映画って、何本くらいあると思う？

ロボ子

ええと、正確な数はわかりませんが、たくさんありますね。博士は、もしAIが世界を支配したら、どうなると思いますか？

博士

うむ、私のような天才美少女科学者が、AIにこき使われる未来しか見えないのじゃ！