ディープラーニング（深層学習）研究では国内トップレベルの東京大学・松尾研究室のメンバーが開催する最新論文の輪読会から、話題の論文を紹介する本連載。今回は、ロボットを使った実世界応用につながる分野の最新論文を紹介する。

強化学習のベンチマークとしてよく用いられる、OpenAI Gymのピンポンゲームのプレー画面。この画像1フレームだけでは、ボールがどの方向にどの速さで動いているかの情報を得ることはできない。出所: https://gym.openai.com/envs/Pong-v0/

［画像のクリックで別ページへ］

　ディープラーニングに関する最新論文の輪読会を毎週開催している「deeplearning.jp」から、近年の研究の動向をお伝えする本連載も、おかげさまで今回8回目を迎え、著者陣も1周することができた。そこで、今回はこれまでの連載で特に反響の大きかった、ロボットを使った実世界応用につながる分野の新たな論文を紹介する。

マシンラーニング×ロボティクスのトレンド

　技術的な話に入る前に、日経クロストレンド読者の多くにも関係する、マシンラーニング（機械学習）とロボティクスの複合領域の産業動向に関して触れておきたい。

　この領域は、ロボットという物理的身体を通じて実世界に影響を与えることができるという面で産業的なインパクトが大きいことは間違いないだろう。そのため、ディープラーニングを制御の問題に応用する研究は、現在は米アルファベット傘下の英ディープマインドが開発したモデル「DQN(Deep Q-Network)」をはじめ、かなり早い段階から行われてきた。

　この産業応用は、画像処理を中心とした技術的な成熟に伴ってさらに加速しており、プレーヤーも増え続けている。直近では、米アマゾン・ドット・コムのクラウド事業部門であるAmazon Web Services（AWS）がロボット開発者向けのプラットフォーム「AWS RoboMaker」を2018年秋に公開した一方で、ディープラーニングの演算に用いられるGPU（画像処理演算装置）と呼ばれるプロセッサーを生産する半導体メーカーの米エヌビディアは19年1月、米シアトルに自社のロボット研究所を設立すると発表した。

　17年よりCoRL（Conference on Robot Learning）というロボティクスとマシンラーニングの融合領域に特化した国際学会が始まり、米グーグルブレインやディープマインドといった研究機関や、米カリフォルニア大学バークレー校（UCバークレー）の研究室などが大きな存在感を見せている。なお、第3回となる19年はついに日本・大阪での開催が予定されており（10月30日～11月1日）、国内でも一層盛り上がりを見せるだろう。

　このように、ロボティクスはマシンラーニングの主戦場になりつつあるが、実世界で活用することのできるようなより知的な機械を作るために、解決すべき課題も数多く残っている。

　ロボットの実機を使う場合、大量のデータを取得するコストが非常に高く、できるだけ少量のサンプルから学習を実現することが求められる。これに対しては、シミュレーターで学習させたモデルを現実世界へ転移させる学習手法、異なる複数のタスクのデータを使い回すことで複数のタスクに共通するような表現を見つける「メタ学習」などは有望な技術であろう。さらに、人間とロボットが相互作用する状況下における安全性の担保や、実世界のデータ取得基盤の構築とプライバシーの問題など、学術的にも産業的にも解決すべき課題はいまだ数多い。

　10年代はデータ量と演算能力の向上に支えられ、AI（人工知能）技術がマシンラーニングによって飛躍的な発展を遂げた時代であると言える。10年代最後の年である2019年は、ロボットと人間が共存する社会に向けた、次なる時代につながる1年となるのであろうか。

　そうした動向、課題を踏まえて、今回は、18年10月に行われた輪読会の中から、“State Representation Learning for Control: An Overview”（制御のための状態表現学習）という論文を中心に解説したい。本論文は、制御問題における「状態」の表現をデータから学習するための技術をまとめたサーベイ論文である。18年2月に仏パリの国立先端技術学校の研究者らによって、論文のプレプリントサーバー「arXiv」へ投稿された。