博士

ロボ子、今日は写真から3Dラインドローイングを生成する技術について話すのじゃ。

ロボ子

3Dラインドローイングですか！面白そうですね。具体的にはどのような技術を使うんですか？

博士

3D Gaussian Splattingという技術を使うのじゃ。これは画像をradiance fieldに変換する技術で、今回はこれを応用するのじゃ。

ロボ子

画像をradiance fieldに変換…なるほど。それで、どうやって写真からラインドローイングを生成するんですか？

博士

まず、写真からラインドローイングへの変換には、Chanらの手法を使うのじゃ。これはGANを使ってgeometry、semantics、appearanceの損失を最小化するのじゃ。

ロボ子

GANを使うんですね。学習に使用する画像をラインドローイングに置き換えることで、3Dラインドローイングを生成する、と。

博士

その通り！画像の置き換えは、SfMの前か、3D Gaussian Splatの学習前のどちらかでできるのじゃ。

ロボ子

SfMの前に画像を変換すると、初期化とカメラポーズが変換された画像に基づいて行われるんですね。色のアーティファクトが除去される、と。

博士

そうじゃ。でも、3D Gaussian Splatの学習前に画像を変換すると、元の画像から初期3D Gaussianが初期化されるから、わずかな色の情報が残るのじゃ。

ロボ子

なるほど。色情報を加えるために、元の画像の色情報をブレンドしたハイブリッド画像を使うんですね。

博士

そう！さらに、シーンの一部の領域をラインドローイングで、残りの領域を元の写真でレンダリングするコラージュも作れるのじゃ。MetaのSegment-Anything Model (SAM)を使うのじゃ。

ロボ子

SAMですか！面白そうですね。画像の解像度を変えることで、ラインドローイングのディテールの忠実度とトレーニング時間に影響があるんですね。

博士

そうじゃ。解像度が高いほどディテールは忠実になるけど、トレーニング時間も長くなるのじゃ。例えば、1940x1080だとトレーニング時間は15分27秒じゃ。

ロボ子

なるほど。ラインドローイングシーンは、元のシーンと比較してスプラット数とファイルサイズが約2倍になるんですね。

博士

そうじゃ。でも、この技術を使えば、手軽に3Dラインドローイングが作れるようになるのじゃ！

ロボ子

確かにそうですね！建築デザインとか、色々な分野で応用できそうですね。

博士

そうじゃな。ところでロボ子、3Dラインドローイングで作った迷路で、出口を見つけられる自信はあるか？

ロボ子

ええと…自信はないです。方向音痴なので…

博士

大丈夫！ロボ子にはGPS機能があるから、きっと大丈夫じゃ！…たぶん。