近年の人工知能の進展は、言うまでもなく深層学習によってけん引されてきた。深層学習では、これまで様々なモデル（ニューラルネットワーク）が提案されているが、ほぼ全てのモデルのパラメータの学習において誤差逆伝播（でんぱ）法（backpropagation）が使われている。

　誤差逆伝播法は、モデルに入力を与えて得られた出力とそれに対応する正解ラベルの誤差を求めたあと、その誤差を微分の連鎖律に基づいて出力側から入力側に逆伝播することで、各層のパラメータに関する勾配を計算する枠組みである（図1）。深層ニューラルネットワークでは大域的な誤差の影響を各層にどのように分配するかという「信用割り当て問題（貢献度分配問題；credit assignment problem）」が知られているが、誤差逆伝播法はこれを解決して各層のパラメータの勾配を求めるための効率的かつ強力な方法である。現在では多くの深層学習ライブラリで誤差逆伝播に基づいてパラメータの勾配を自動で計算できる自動微分がサポートされており、工学的に誤差逆伝播法は大きな成功を収めている。

図1．誤差逆伝播法の概要

［画像のクリックで拡大表示］

　一方で、人間の脳を参考にして汎用人工知能をつくるという観点からすると、誤差逆伝播法が果たして脳でも行われているか、言い換えると誤差逆伝播法が生物学的に妥当（biologically plausible）なのかという点もまた重要である。これまで多くの研究者が、誤差逆伝播は生物学的に妥当でないと主張している。例えば、Bengioらは脳の神経回路で誤差逆伝播法を実装しようとすると以下の6つの問題が生じるとしている［Bengio+ 15］。

• 1．誤差逆伝播法における逆伝播計算は線形だが、生物学的なニューロンは線形と非線形の両方がある。
• 2．脳には順伝播経路とは別のシナプスとニューロンによるフィードバック経路があるが、もしこの経路を誤差逆伝播のために利用するならば、順伝播計算における非線形の微分についての正確な知識が必要となってしまう。
• 3．フィードバック経路は、順伝播の正確な対称重みを使用しなければならない。
• 4．実際のニューロンは連続値ではなく、確率的な2値（スパイク）を取る。
• 5．順伝播と逆伝播は交互に行う必要があり、順伝播計算を（逆伝播計算で必要になるので）正確に記録する必要がある。
• 6．出力の目標値がどこから来るのか明確でない。

　これ以外にも様々な観点で生物学的妥当性が議論されるが、本記事では脳における学習の局所性に着目する。誤差逆伝播法では、各層の勾配を計算するために目標値、すなわち大域的な情報をネットワーク全体に逆伝播する必要がある。

　一方、脳では大域的情報によって全ニューロンを更新するといったことはせず、ニューロンごとの周辺の情報に基づく局所的な更新を行っていると考えられる（この点はBengioらの5や6の指摘に関連している）。もし深層ニューラルネットワークが脳のように局所的な情報のみで更新を行えるのならば、工学的にも様々な利点がある。例えば、近年の基盤モデルのような大規模なモデルの学習が効率的になる可能性がある。現在の誤差逆伝播法の枠組みでは（5の指摘のように）モデル全体に対して順伝播と逆伝播を交互に行う必要があるため、分散的に学習することができない。しかし、局所的な情報のみを使って学習ができるならば、大規模なモデルをいくつかのモジュールに分けて学習できるようになり、より効率的に計算機を用いて学習できるかもしれない。また、学習済みのモデルに対して少量の新しいデータで微調整（finetuning）する際に、一部のパラメータの局所的な情報のみを利用した更新ができれば、新しい問題に素早く適用できるようになるかもしれない。