人工知能（AI）の深層学習（ディープラーニング）の第一人者とされるカナダ・トロント大学のジェフリー・ヒントン教授のグループが17年前に発表した積層自己符号化器（stacked autoencoder）。これを構成するRBM （Restricted Boltzmann Machine）が、生成モデルとして、近年また注目されている。ヒントン教授らの最新論文を取り上げる。

制約付きボルツマンマシン

　2006年にトロント大学のジェフリー・ヒントン教授らのグループが発表した積層自己符号化器（stacked autoencoder）は、多層のニューラルネットワークを学習することに成功し、深層学習ブームの火付け役となった[1]。

　積層自己符号化器は、制約付きボルツマンマシン（Restricted Boltzmann machine, RBM）と呼ばれる生成モデルの一種を多層に積み重ねることで、教師なしで特徴量を学習するというものであり、その後も積層自己符号化器を多層ニューラルネットワークの事前学習として用いる研究が盛んに行われた。

　その後、パラメータの初期化方法の工夫などによって積層自己符号化器を使った事前学習は不要となり、今日ではほとんど使われることはなくなっている。しかし、積層自己符号化器の構成要素となっているRBM（ Restricted Boltzmann Machine）が生成モデルとして、近年また注目され始めている。22年10月にヒントン教授らが発表したRBMに関する論文[1]では、学習方法を工夫することにより、RBMがVAEやGANといった他の生成モデルに匹敵する性能を発揮することが報告されている。今回はこの論文について詳しく取り上げていく。

図1　深層ニューラルネットワークの事前学習方法として2006年に提案された積層自己符号化器[1]

［画像のクリックで拡大表示］