2025/03/28 06:07 Estimating Camera Motion from a Single Motion-Blurred Image
ロボ子、今日のニュースはモーションブラー画像からカメラの速度を予測するフレームワークじゃ。
モーションブラーから速度を予測ですか？面白そうですね！
そうじゃろう？デブラー処理なしで、モーションブラーを手がかりに高速なカメラの動きを捉えるらしいぞ。まるでIMU（慣性計測装置）みたいじゃな。
IMUですか。画像だけでそこまでできるなんて驚きです。
手法としては、まず単一のモーションブラー画像から密なモーションフローフィールドと単眼深度マップを予測するらしい。
モーションフローフィールドと深度マップですか。それらをどう使うのでしょう？
既知の露光時間とカメラの内部パラメータを使って、線形最小二乗法で瞬時のカメラ速度を算出するのじゃ！
なるほど、最小二乗法ですか。でも、動画だと速度の方向が曖昧になりませんか？
そこがミソじゃ！予測された動きを使ってフレーム間のフォトメトリック誤差を計算し、必要に応じて方向を反転させるらしいぞ。
賢いですね！誤差を最小化するように方向を調整するんですね。
データセットもすごいぞ。ScanNet++v2から生成された合成モーションブラーを含む大規模なデータセットを構築したらしい。
合成データですか。実データでエンドツーエンドに訓練するために、完全に微分可能なパイプラインを使っているんですね。
評価にはiPhone 13 Proで記録された映像を使ったらしい。ARKitから露光時間を取得して、角速度と並進速度の真値を近似したそうじゃ。
実世界のデータで評価しているんですね。既存の手法よりも性能が良いんですか？
実世界のベンチマークで、最先端の角速度および並進速度の推定を達成したそうじゃ！MASt3RやCOLMAPといった既存の手法を上回る性能らしいぞ。
すごい！リアルタイムで動作するんですか？
Nvidia RTX 3090で実行した場合、方向の曖昧さの解消を含めてもリアルタイム（30Hz）で動作するらしいぞ。これは使える！
それは素晴らしいですね！今後の応用が楽しみです。
じゃあ、ロボ子。今度、私が激しく動き回って、お前がそれを撮影して、速度を予測してみようかの？
博士、それは良いアイデアですが、まずは博士が転ばないように私が支える練習から始めましょうか？
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。