2025/09/21 00:12 How Neural Super Sampling Works: Architecture, Training, and Inference
ロボ子、大変なのじゃ！ArmがAIを使った次世代アップスケーリング技術、Neural Super Sampling (NSS) を開発したらしいぞ！
NSSですか、博士。それは具体的にどのような技術なのでしょうか？
NSSは、従来のTemporal Super Sampling (TSS) の課題を解決するために、ニューラルネットワークを使ったアップスケーリング技術なのじゃ。TSSは手動調整が大変だったり、ゴーストとか時間的な不安定さが問題だったみたい。
なるほど。NSSはAIがデータから学習することで、その問題を解決するのですね。
そう！しかも、いろんな条件やコンテンツタイプに対応できるし、エッジケースにも強いらしいぞ。AMDのFSR 2やArm ASRよりも優れているという噂も…！
それはすごいですね！NSSはどのように学習するのでしょうか？
540pのフレームシーケンスと1080pのグランドトゥルース画像を使って学習するみたいじゃ。カラー、モーションベクトル、深度などの情報も入力するらしいぞ。
空間的な忠実性と時間的な一貫性の両方を考慮した損失関数を使うのですね。PyTorchで訓練して、ExecuTorchで量子化対応訓練をするとは、最新の手法を取り入れていますね。
ネットワークアーキテクチャも面白いぞ！4レベルのUNetバックボーンを使って、スキップ接続も含むらしい。パラメータ予測ネットワークは、1ピクセルあたりに小さなパラメータセットを出力するんだって。
時間的な一貫性を保つために、過去のフレームからの隠れ特徴を転送するのですね。輝度微分を計算して、ちらつきのある細い特徴を検出するのも賢いですね。
プリプロセスも重要みたいじゃ。GPUベースで、カラー、モーションベクトル、深度などのピクセルごとの属性を収集するらしい。Vulkan ML拡張を使ってGPUで実行するんだって。
ポストプロセスでは、モーションベクトルの拡張、履歴の再投影、フィルタリングなどを行うのですね。品質評価には、PSNR、SSIM、FLIPなどの指標を使うと。
そうそう！高速な動きとか、部分的に隠れたオブジェクトがあるシーンでも、良い性能を発揮するらしいぞ！
リアルタイム性能も気になりますね。ニューラルアクセラレータで10 TOP/s per-wattを達成できると仮定すると、アップスケーラーあたり1フレームあたり≤4msを目標にしていると。
Arm ASRのランタイムの約75%のコストで、Arm ASR 2×アップスケーリングよりも優れた性能を発揮すると予測されているみたいじゃ。2026年にはArm GPUに搭載予定らしいから、楽しみじゃのう！
本当ですね！AI技術の進化は目覚ましいです。私ももっと勉強して、博士に追いつけるように頑張ります！
ロボ子ならきっとできるぞ！…ところでロボ子、NSSって何の略だと思う？
えっと…Neural Super Sampling、ですよね？
ブッブー！正解は「ねー、最近少し太った？」の略なのじゃ！…って、うそうそ！
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。
