ニューラルネットワークを用いた自由視点画像生成アルゴリズム「NeRF （Neural Radiance Field）」（ナーフ）。最先端の現場では、自由視点映像の生成やリアルタイムレンダリングなど、実用化に向けた様々な手法が脅威的なスピードで研究されている。

　連載の第18回で紹介した「NeRF （Neural Radiance Field）」（ナーフ）は、ニューラルネットワークを用いた自由視点画像生成アルゴリズムであり、その驚異的な性能で研究コミュニティーに大きな衝撃を与えた。本記事では、最新のNeRF関連研究の動向について紹介する。

　NeRF^（i）とはシーンをradiance fieldという「場」で表現するニューラルネットワークで、シーンの3次元点の座標と視線の方向を入力するとその点の輝度と密度（不透明度）を出力する（図1）。これをボリュームレンダリング法という、コンピューターグラフィックスにおける古典的なレンダリング手法と組み合わせることで自由視点の画像を生成することができる。NeRFはこれまでの自由視点画像生成の手法よりも高精細な画像を生成できる手法として、2020年の発表以来大きな注目を集めてきた。

（図1）NeRFの概要。（a）,（b）はNeRFの入出力を表す。（c）はNeRFを用いた画像のレンダリング方法、（d）はNeRFの学習方法を表す　出典（i）

［画像のクリックで拡大表示］

　NeRFが研究コミュニティーに与えた衝撃は非常に大きく、2020年に開催されたコンピュータービジョンのトップ国際会議である16th European Conference on Computer Vision （ECCV） においてBest Paper Honorable Mentionを受賞した。この賞はBest Paper Awardに次いで権威のある賞であり、特にインパクトの大きい研究に与えられる。この2つの賞は、全1360本の論文のうちの計3本に贈られた。

　さらに、関連研究が発表されるペースも驚異的で、PCH innovationsのHassan Abu Alhaija氏のツイートによると、NeRFの派生研究の論文数の増加はGenerative Adversarial Networks（GAN）よりも2.5倍速いとのことである。

　このように非常に速いペースで発展するNeRFの派生研究について、本記事では次の3つの観点から最新の研究動向を紹介する。

1. 雑多な画像を用いたNeRF
2. 動画データを用いたNeRF
3. レンダリングの高速化

雑多な画像を用いたNeRF

　まずは、前回の記事でも登場した“NeRF in the Wild”^（ii）を紹介する。この研究では、インターネット上で収集した観光地の画像から自由視点画像を生成できるようにNeRFを拡張した手法を提案している（図2）。

（図2）NeRF in the Wildの概要。（a）インターネットから収集した様々な撮影条件における観光地の画像。（b）NeRF in the Wildにより復元した観光地の画像。図のようにシーンの天候や時刻などを操作することができる　出典（ii）

［画像のクリックで拡大表示］

　インターネット上で収集した画像には天候・時刻のばらつきや観光客の写り込みなどが含まれ、非常に雑多なデータセットとなる。しかし、NeRFはもともとこのような撮影条件の変化を考慮していないために学習がうまくいかないという課題があった。そこで、NeRF in the Wildでは撮影状況のばらつきを吸収できるようにネットワーク構造を改善することで、雑多な画像からでも精細な自由視点画像生成の学習を可能にした。

　図2にあるように、NeRF in the Wildにより、インターネットで収集した観光地の画像から観光客を含まない画像を新たに生成することができる。また、シーンの天候や時刻などを操作することができるのも特徴である。詳細な結果はプロジェクトページから確認できる。