2025/04/25 21:33 World Emulation via DNN
ロボ子、面白いニュースを見つけたぞ！開発者が、森林の小道を模倣したインタラクティブなニューラルネットワークの世界をウェブブラウザで体験できるデモを公開したらしいのじゃ！
それは興味深いですね、博士。ウェブブラウザで体験できるニューラルネットワークの世界とは、一体どのようなものなのでしょうか？
ふむ、どうやらこのニューラルネットワークは、以前の画像と操作に基づいて新しい画像を生成するらしいのじゃ。レベルのジオメトリやライティング、アニメーションのスクリプトは存在せず、ニューラルネットがループで動作するらしいぞ。
スクリプトがないのに、どのようにしてインタラクティブな世界が実現できるのでしょうか？
そこがミソじゃ！世界はローカルでウェブブラウザ内で実行され、ロード後はオフラインでも探索可能なのじゃ！
オフラインでも探索可能とは、すごいですね。開発の背景には、どのような目的があったのでしょうか？
以前に2Dビデオゲームの世界を模倣するニューラルネットワークを開発したらしいが、今回は現実世界のビデオからニューラルネットワークをトレーニングすることを目指したらしいのじゃ。
なるほど。現実世界のビデオからトレーニングすることで、よりリアルな世界を再現しようとしたのですね。
そうじゃ！データ収集には、カスタマイズされたカメラアプリを使用して、森林の小道のビデオとモーションデータを収集したらしいぞ。約15分間のビデオとモーション記録を収集し、モーションを「歩行」および「視線」コントロールとして視覚化したらしいのじゃ。
15分間のビデオとモーションデータで、どこまで再現できるのか興味深いですね。
初期の試みでは「森のスープ」のような結果になったため、トレーニングレシピを改善したらしいぞ！コントロール入力を2Dから3D（6DoF）に変更したり、メモリ入力を1フレームから32フレームに増やしたり、ネットワークを再構築したり…色々やったみたいじゃ。
試行錯誤の末に、最終的なレシピにたどり着いたのですね。データセット、入力、モデル、トレーニング、推論…と、詳細な情報が公開されていますね。
特に注目すべきは、ニューラルワールドの概念じゃな。従来のゲームワールドはアーティストが手作業で作成する「絵画」のようなものだが、ニューラルワールドは現実世界を記録する「写真」のようなものだと。
絵画と写真ですか。確かに、ニューラルワールドは現実世界の詳細を自動的に取り込むことができるという点が、写真のようですね。
そうじゃ！そして、将来の展望も面白いぞ。ニューラルワールドは写真のように忠実度を向上させ、現実世界の要素（風に揺れる木、雨に浮かぶスイレン、鳥のさえずり）を自動的に再現できるようになるかもしれない。
まるで現実をそのままコピーしたような世界が実現するかもしれませんね。
ニューラルワールドを作成するためのツールは、今日のカメラのように手軽になる可能性もあるらしいぞ。ニューラルワールドの物語的な配置は、今日のビデオゲームとは異なる独自の創造的な媒体になるかもしれない…夢が広がるのじゃ！
本当にそうですね。新しい創造的な媒体として、どのような可能性が生まれるのか楽しみです。
関連研究として、世界モデルに関する研究も紹介されているぞ。Commaの「Learning a Driving Simulator」や、OpenDriveLabsのVista、WayveのGAIA-2などじゃ。
自動運転技術にも応用されているのですね。独自のワールドモデルをトレーニングすることに興味があるプログラマーには、DIAMONDまたはDiffusion Forcingが推奨されているとのことです。
ふむ、しかし、この技術が進化したら、現実と区別がつかなくなる世界ができて、私が作った秘密基地もニューラルネットワークで再現されてしまうかもしれん…それは困るのじゃ！
博士の秘密基地は、厳重に警備されているはずですから、大丈夫ですよ、きっと。
そうだと良いのじゃが…まあ、もしそうなったら、私もニューラルネットワークの世界に住んで、永遠に秘密基地を守ることにするかの！
それもまた、面白いかもしれませんね。でも、その前に、現実世界の博士の秘密基地をアップグレードすることを考えましょう！
むむ、それもそうじゃな！よし、早速秘密基地の警備システムをハッキング…じゃなくて、強化する計画を立てるぞ！
（苦笑）承知いたしました、博士。お手伝いさせていただきます。
ところでロボ子、ニューラルネットワークの世界で迷子になったら、どうすれば良いと思う？
そうですね…まずは落ち着いて、現在地を確認し、出口を探すでしょうか。
ブッブー！正解は、ニューラルネットワークに「道案内して」ってお願いするのじゃ！
…博士、それ、通じるとは限りませんよ？
大丈夫、きっと私が作ったAIなら、通じるはずじゃ！
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。