東大松尾ゼミの「深層学習」研究会

双方向の“対話”でタスクをこなす　人と協働するロボットの研究 深層学習により画像や言語などのデータを機械で処理することが容易になったことを契機に、現実世界で動作するロボットの開発に対する期待が高まっている。もしロボットが言語を用いて人間に質問を行って支援を求めることができたら、作業をより柔軟に行えるはずだ。この記事では、言語を用いて人間と協働するロボットの開発に取り組む研究を紹介する。

学習してないのに予測　「CLIP」がコンピュータービジョンを進化 学習していないものも予測できることで注目を集める画像モデル「CLIP」がコンピュータービジョン（画像や映像の識別）の分野に大きな影響を与えている。米スタンフォード大学はCLIPやBERT、GPT-3といった、大規模データで学習して幅広いタスクに汎用的に適用できるモデルを“基盤モデル”と称し、研究センターの設立まで発表するほど。そんなCLIPの周辺動向および各分野での応用例を紹介する。

人工知能の“思考”が分かる？　予測精度と並んで重要な「解釈性」 人工知能（AI）がなぜそのような“答え”を出したのか。機械学習モデルの振る舞いを理解できる度合いを「解釈性」と呼ぶ。ビジネスなどあらゆるシーンで人工知能を活用する社会では、学習モデルの精度はもちろんのこと、なぜそのような結果を出したのかを説明できないと顧客の支持を得ることは難しい。解釈性は深層学習によるモデルが普及する現在、重要な研究テーマの一つになっている。

時間軸の活用で動画分類に特化した最新のDA手法「VideoMix」とは 過学習を防ぎ、AIの精度を高める上で欠かせないData Augmentation（DA）。近年では様々なタスクに対するDAが研究されているが、メジャーなタスクである動画認識が近年までDAの研究対象としてほとんど注目されていなかった。画像分類において有効なDAとして知られる「CutMix」に、動画に特有の要素である「時間軸」盛り込むことで誕生した、動画分類向けDA手法「VideoMix」を紹介する。

AIはプログラムの夢を見るか？　睡眠学習する驚きのアルゴリズム “寝たり起きたり”を繰り返しながら学習する「DreamCoder」。そこで使われる「Wake-sleepアルゴリズム」は、「起床フェーズ」と「睡眠フェーズ」の2つのフェーズを繰り返す。起床フェーズでは外界からのデータと認識モデルを基に学習、睡眠フェーズでは夢として過去を思い出したり妄想したりして自分の認識を改善する。

自由視点のスポーツ観戦も期待できる「NeRF」を効率化する新工程 自由視点画像生成アルゴリズム「NeRF（Neural Radiance Field）」（ナーフ）。近年、非常に注目を集めているが、課題の一つが学習に非常に時間がかかるという点だ。解決策としてGoogle DeepMindから提案されたのが「NeRF-VAE」である。

「NeRF」の最新事例　自由視点映像やリアルタイムレンダリングも ニューラルネットワークを用いた自由視点画像生成アルゴリズム「NeRF （Neural Radiance Field）」（ナーフ）。最先端の現場では、自由視点映像の生成やリアルタイムレンダリングなど、実用化に向けた様々な手法が脅威的なスピードで研究されている。

1層でも高精度　不動点を用いたディープラーニング「DEQ」とは たった1層分のニューラルネットワークだけで多層のモデルと同等以上の精度が出るという「Deep Equilibrium Model (DEQ)」。その精度やメモリー効率などにおける優位性が注目されている。

最強AI「MuZero」とは　ルールを知らないのにゲームで勝ちまくる 囲碁、将棋、チェスとあらゆるゲームで人間を破り、その名をとどろかせた「Alpha」。このシリーズから2020年に最新のかつ最強のAI（人工知能）「MuZero（ミューゼロ）」についての論文が発表された。驚くべきは、ゲームのルールという基本的な情報すら与えられていない状態から出発しているという点だ。その“脳内”のメカニズムを解き明かす。

安く、お手軽に生成モデルが使える！　Lightweight GANに注目 本物と見分けのつかないリアルな画像を生成できることで注目を集めるGenerative Adversarial Network（GAN）の計算コストの削減を図った「Lightweight GAN」について紹介する。莫大な学習コストのために一個人では学習が困難であった従来のGANに対して、Lightweight GANはGPU1枚かつ1日未満というお手軽な学習が可能だ。さらに学習に必要なデータも従来モデルと比較して大幅に少なく、GANの低リソース化は今後の応用、発展を推進するに違いない。

「ロボットに声で家事を指示するには？」深層・強化学習の最前線 日本語などの自然言語による指示を理解することができるエージェント（ロボットなど）の開発は、例えば一般家庭の家事を代替するなど、産業応用上大きな可能性を秘めている。しかし、多様な言語指示や家庭環境に適応して動作するロボットを、深層学習・強化学習を用いて作るためには、莫大なデータが必要となると考えられる。本稿では、言語指示に従うロボットの開発に必要なデータ数を削減するための3つの研究を紹介する。

識別モデルと生成モデルを同時に学習！？　深層学習の再解釈 「識別モデル」と「生成モデル」は、いずれも機械学習において欠かせないアプローチの手法だ。この2つは、これまでは基本的に別々に研究が進められてきたが、新たな論文ではこれらを同時に学習するモデル「JEM」を提案。より広い視点から統一的に解釈する研究は、今後非常に重要になっていくと考えられる。

画像研究の知見を時系列に生かす　越境する深層学習研究の面白さ 深層学習（ディープラーニング）の領域は非常に広く、さまざまな分野での活用が期待されている。例えば、時系列の予測や分類のために、VAEやGANといった画像処理の技術を利用する、という方法もある。一見自分に関係なさそうな領域でも、深掘りすると通底している部分が見つかる、という点が深層学習研究の面白いところだ。

高性能AIを自作できる!?　ディープラーニングモデル構築の新手法 ディープラーニング(DL)は現代のAI(人工知能)開発における要の技術。翻訳や物体認識、 文字認識などで必要になる「モデル構築」を、劇的にシンプルかつスピーディーにする新たな手法が発見された。たとえるなら、広大な砂漠から宝のありかをどんどん絞り込んでいくようなイメージで、自身の環境に適応した最新のAIを作り出すことも簡単になる。DLモデル構築に新たな時代を切り開く、新手法について紹介していく。

VRで注目、新技術「NeRF」の衝撃　様々な視点の画像を美しく合成 複数の視点の画像から、新たな視点の画像を合成して作り出す「Novel View Synthesis」というタスクがある。VRやスポーツの自由視点映像などには不可欠な技術だ。この領域で驚異的な性能を発揮したのが「NeRF」（ナーフ）。果たしてどんなアルゴリズムで、美しい合成画像を作り出せるのか。世界中の研究者や技術者に衝撃を与えたその技術を、論文からひもといていく。

新型コロナウイルスの構造を解析せよ　“最強AI”が挑む最前線 Google傘下のDeepMind社が開発したAI「AlphaFold（アルファフォールド）」が科学的発見に挑む特集の後編。AIがどのように複雑なタンパク質構造を予測していくのか、そのメカニズムを紹介していく。さらに、創薬などへの応用が期待される、新型コロナウイルス研究の最前線も取り上げる。

Google傘下のAIによる科学的発見　立体構造予測で世界に衝撃 科学的発見は人間に特有だと考えられていた極めて難しい知的活動だが、技術の発展により、機械であるAIによる科学的発見も可能になってきた。Google傘下のDeepMind社が開発したタンパク質の立体構造予測AI「AlphaFold（アルファフォールド）」は、AIによる科学的発見の代表的な成功例。AlphaFoldはコンテストで圧倒的な成績をたたき出し、世界に衝撃を与えた。前編ではまずはタンパク質の仕組みや立体構造予測の応用について説明していく。

深層学習が苦手な「予測」を克服できるか？　メタ学習「ConvCNP」 医者が診断する際、一つの血液検査の数値だけでは病気の特定は難しい。だが検査項目を増やしていくことで、病気の特定はより確実性を増していく。このように、人はデータを増やすことで予測の精度を上げることができる。同様にAIの予測に不確実性を持たせ、観測点を増やすことでその不確実性を減らす最新の研究の一つを紹介しよう。

深層学習における「不確かさ」の意味　知らないデータも検知 今回は「Ensemble Distribution Distillation」という論文を紹介する。一言でいうと、複数の深層ニューラルネットワーク（DNN）の出力を利用することで、「知識の不確かさ」を獲得し、学習データ以外のデータを検知する手法である。

協調AIなら解ける？　経済学のジレンマ「共有地の悲劇」 人工知能（AI）は、深層強化学習の発展により、囲碁や将棋などの対戦型ゲームにおいて人間を上回るパフォーマンスを出すようになった。しかし実世界における問題は、敵対的な状況だけではない。むしろ個々人が協力・協調しなければ解けない問題も多い。

深層学習で「服の仮想試着」実現　自然さ実現する“画像修復” ディープラーニング（深層学習）研究では国内トップレベルの東京大学・松尾研究室のメンバーが開催する最新論文の輪読会から、話題の論文を紹介する本連載。今回は、「服の着せ替え」を実現するAI（人工知能）に関する論文を取り上げる。

エヌビディアが編み出した驚異のAI画像変換技術　GauGANって何だ 近年、深層学習を活用したアプリケーションが企業から提供されるようになった。例えば自分の声でスマートフォンを操作したり、撮った写真の色合いをを自動で加工したりできる。これらの裏側ではAI（人工知能）の技術が使われている。米アドビや米エヌビディアがAIを用いた新機能をお披露目して見る人を毎回驚かせている。

データがないのに学習可能？　最先端AI「メタ学習」がスゴい ディープラーニング（深層学習）研究では国内トップレベルの東京大学・松尾研究室のメンバーが開催する最新論文の輪読会から、話題の論文を紹介する本連載。今回は、直接データを必要としない予測モデル「メタ学習」に関する論文を取り上げる。

髪の色も顔の向きも自在に変化　AIに表現を学ばせる ディープラーニング（深層学習）研究では国内トップレベルの東京大学・松尾研究室のメンバーが開催する最新論文の輪読会から、話題の論文を紹介する本連載。今回は、「より良い表現学習」に関する論文を取り上げる。

ロボット制御に大切な「状態」表現　データから環境の表現を学ぶ ディープラーニング（深層学習）研究では国内トップレベルの東京大学・松尾研究室のメンバーが開催する最新論文の輪読会から、話題の論文を紹介する本連載。今回は、ロボットを使った実世界応用につながる分野の最新論文を紹介する。

文書の文字は当たり前　街中の看板も読み取るテキスト認識の今 ディープラーニング（深層学習）研究では国内トップレベルの東京大学・松尾研究室のメンバーが開催する最新論文の輪読会から、話題の論文を紹介する本連載。今回は、テキスト認識技術の最前線がテーマ。街中の写真から「どこに」「何が」書かれているか読み取ることも可能になっている。

画像認識技術の最先端　より洗練された認識方法を目指す ディープラーニング（深層学習）研究では国内トップレベルの東京大学・松尾研究室のメンバーが開催する最新論文の輪読会から、話題の論文を紹介する本連載。今回は、それぞれの物体を区別しつつ、物体がある領域をピクセル単位で分割する、より高度な認識技術であるインスタンスセグメンテーションを紹介する。

学習データ不足への対処へ　ドメイン適応を用いた知識の転移 ディープラーニング（深層学習）研究では国内トップレベルの東京大学・松尾研究室のメンバーが開催する最新論文の輪読会から、話題の論文を紹介する本連載。今回は、多くの学習データを用いないと十分な性能が発揮できない深層学習において、少ない学習データでも十分な性能が発揮できる手法を紹介する。

世界モデル～世界の構造を理解して予測・想像するAI～ ディープラーニングの研究では国内トップレベルの東京大学・松尾研究室のメンバーが毎週開催する最新論文の輪読会から、話題の論文を紹介する本連載の第4回。今回は、人間が優れている能力の1つである「予測能力」あるいは「想像力」をAI（人工知能）で実現する方法についての研究を紹介する。

ロボットは行動計画を立てられるか？ ディープラーニング（深層学習）の研究では国内トップレベルの東京大学・松尾研究室のメンバーが毎週開催する最新論文の輪読会から、話題の論文を紹介する本連載の第3回。今回はロボット×ディープラーニングの研究論文。服を畳んだり、食事を作ったりといった動作を不確実で複雑な空間でロボットがスムーズに行うようにできれば、大きなインパクトをもたらす。その実現に向けた研究を紹介する。

パラメーター空間での「眼」を獲得せよ 汎用AI発現へ近づく一歩 ディープラーニング（深層学習）の研究では国内トップレベルの東京大学・松尾研究室のメンバーが毎週開催する最新論文の輪読会から、話題の論文を紹介する本連載の第2回。ディープラーニングの学習には時間がかかる。その過程は誤解を恐れずに言えば、目隠しをしながら山登りするようなものだ。しかし、それを解決する手法が発見されつつある。その1つが「フィッシャー情報行列」である。

松尾研が注目！ AIの「身体性」をグーグルやフェイスブックが研究 ディープラーニング（深層学習）というAI（人工知能）技術の研究では国内トップレベルの東京大学・松尾豊研究室のメンバーが、実世界で活用できるAIを構築するために参考になる優れた海外の論文を2つ紹介する。現実に存在する身体を通じて環境に適応的な振る舞いを学習することがポイントになる。