「識別モデル」と「生成モデル」は、いずれも機械学習において欠かせないアプローチの手法だ。この2つは、これまでは基本的に別々に研究が進められてきたが、新たな論文ではこれらを同時に学習するモデル「JEM」を提案。より広い視点から統一的に解釈する研究は、今後非常に重要になっていくと考えられる。

　機械学習の研究では、大きく2つのアプローチが存在する。1つは、画像のクラス分類問題のような解きたいタスクに特化したモデルを用意し、学習するという識別的アプローチである。例えば、古典的な機械学習手法であるサポートベクターマシンでは、異なるクラスのデータからの距離がなるべく離れるように決定境界を学習することで、クラス分類問題を解く手法であり、識別的アプローチの代表例だ。

　もう1つは、データを生成する確率分布を推定し、それに基づいて様々なタスクを解いていく生成的アプローチである。例えば、ある集団の男女の身長データが与えられたときに、男女それぞれの身長の分布を正しく推定することができれば、新しく性別の分からない身長のデータが得られたときにも、推定した分布を用いてその性別を予測することができる。生成的アプローチは、様々なタスクに適用できるため、より汎用的なアプローチと言えるが、一般にデータを生成する確率分布の推定は、特にデータが高次元な場合には非常に難しいことが知られている。

　深層学習においても、はじめはAlexNetなどの画像認識タスクを扱うモデルの研究が盛んに行われ、識別的アプローチにおいて大きく発展した。その後GANの登場などにより、生成的アプローチの研究も大きく進展してきている。これら2つのアプローチは、これまで基本的には別々に研究が進められてきたが、今回紹介する論文（Your Classifier is Secretly an Energy Based Model and You Should Treat it Like One）では、識別モデルと生成モデルを同時に学習することのできる手法を提案しており、識別・生成の両方において高い性能を発揮することに成功している。本記事では、この手法について説明していく。