スケッチをAI(人工知能)によって現実味あふれる画像に変えてくれるドローイングツール「GauGAN(ゴーギャン)」を、米エヌビディアが開発している。研究途上の技術だがアニメーターやゲームデザイナーに役立ちそうだ。

スケッチを描くと「GauGAN」が、リアルな画像にしてくれる
スケッチを描くと「GauGAN」が、リアルな画像にしてくれる

 2019年3月下旬に明らかにした同ツールを用いると、例えば画面上で「雲」という選択をして、雲のような線を描いたり丸を描いたりするだけで、自動的に流れ雲やぽっかりと浮かぶ丸い雲の画像になる。あるいは、木の形を線で描くとその内側が自動的に木の画像になる。海の風景の中に台地のような線を描いて「岩」を選択してクリックすると、その海の水面に反射される岩山が現れる。スケッチを細かく描く必要がない。雑なイメージでも、リアルな絵にしてくれる。

 絵を描くツールにはバケツ(内側を埋める)、筆、ペンがあり、選択できるオブジェクトには空、木、雲、山、草、雪、小石などがそろっている。取りあえず自然風景を描くためのツールとして使えそうだ。今後は都市風景などに広げることもできるだろう。

絵の文脈によって異なる画像に

 実用的と思える点は、同じ自然風景ではなく、その状況に最適な画像を生成する仕組みになっていること。たとえ同じ形状の線に同じオブジェクトを組み合わせても、全体の絵の文脈によって現れる画像が異なる。地面を雪で覆うと、空も曇り空になるといった計算も行う。

 ゴーギャンは「GAN(敵対的生成ネットワーク)」という種類の深層学習を活用しているという。単純に言うと、システムの中でだまそうとするアルゴリズムと見抜こうとするアルゴリズムという、互いに相反する機能を持つAIを戦わせるような仕組みを用いてAIが独自に学習していき、ますます現実に近い画像を生成する仕組み。ゴーギャンには、オンラインの写真共有サービス「フリッカー」に投稿された100万枚の画像を学習させている。

 エヌビディアの応用深層学習研究担当VPのブライアン・カタンザーロ氏は、「合成画像に多様性と高度な忠実性をもたらすもの」と説明する。人間が描くスケッチのタッチと、無数の画像学習から学んだAIが競作するようなイメージだ。今後、学習材料を広げれば、建築家やデザイナー、ゲームデザイナーらが利用できるものになるだろう。

「ゴーギャン」の画面には空や雲、木など生成されるオブジェクトが並び、ここから選択できるようになっている。ざっと描いたスケッチが左側、それが右側の画面で定義したエリアごとに画像が生成され、リアルな風景画像として完成。反射や影なども全体の絵の文脈に合わせて自動的に生成される
「ゴーギャン」の画面には空や雲、木など生成されるオブジェクトが並び、ここから選択できるようになっている。ざっと描いたスケッチが左側、それが右側の画面で定義したエリアごとに画像が生成され、リアルな風景画像として完成。反射や影なども全体の絵の文脈に合わせて自動的に生成される
米エヌビディアのブライアン・カタンザーロ氏
米エヌビディアのブライアン・カタンザーロ氏

(写真提供/エヌビディア)

この記事をいいね!する