ディープラーニング（深層学習）の研究では国内トップレベルの東京大学・松尾研究室のメンバーが毎週開催する最新論文の輪読会から、話題の論文を紹介する本連載の第3回。今回はロボット×ディープラーニングの研究論文。服を畳んだり、食事を作ったりといった動作を不確実で複雑な空間でロボットがスムーズに行うようにできれば、大きなインパクトをもたらす。その実現に向けた研究を紹介する。

ロボティクスタスクの例。https://www.youtube.com/watch?v=Q4bMcUk6pcwの動画中より引用

［画像のクリックで別ページへ］

　環境とのインタラクションにより得られる経験をベースに学習する強化学習は、画像認識や言語処理と並びディープラーニング研究が活発な領域の1つである。強化学習自身は長い歴史を持つ領域であるが、画像のように高次元の入力から抽象表現（*注釈：例えば米グーグルの研究における猫の認識）を獲得するディープラーニングと、経験から学ぶ強化学習の融合により大きく進展している（その代表例がAtariの多くのゲームで人間を上回る性能を発揮した「Deep Q Network」「DQN」や囲碁でトッププレーヤーを破った「AlphaGo」「AlphaGo Zero」である）。

　では、上記のような研究成果をロボットに適用することはできるだろうか？例えば、服を畳んだり、食事を作ったりといった動作を現実世界のように不確実で複雑な空間でロボットがスムーズに行うようになれば、そのインパクトはとてつもなく大きいだろう。このようなロボット×ディープラーニングに関する研究を行っている代表的なグループの1つが、米カリフォルニア大学バークレー校（UC Berkeley）にあるセルゲイ・レビン（Sergey Levine）、チェルシー・フィン（Chelsea Finn）らを中心にした研究チームである。今回は、同研究グループの最近の成果の1つである「[Srinivas+2018] Universal Planning Networks”(ICML2018)」について紹介する（*注釈：ICMLはInternational Conference on Machine Learningの略であり、マシンラーニング（機械学習）領域で最高峰の会議である）。