人工知能（AI）がなぜそのような“答え”を出したのか。機械学習モデルの振る舞いを理解できる度合いを「解釈性」と呼ぶ。ビジネスなどあらゆるシーンで人工知能を活用する社会では、学習モデルの精度はもちろんのこと、なぜそのような結果を出したのかを説明できないと顧客の支持を得ることは難しい。解釈性は深層学習によるモデルが普及する現在、重要な研究テーマの一つになっている。

　深層学習が持つ課題の一つに「解釈性」がある。解釈性とは、機械学習モデルが入力に対してなぜそのような出力をしたのか、というモデルの振る舞いを理解できる度合いを指す^（i）。深層学習によるモデルは様々な予測タスクに対して高い性能を誇るが、モデルの中身はブラックボックスとなり、なぜモデルがそのような予測を行ったのかが分からないことが多く解釈性が低いといわれている。

　もちろん機械学習に求められる最も重要なことは予測精度だが、解釈性が重要になるケースも多い。例えばビジネスの意思決定に機械学習を用いる場合に、そのモデルの精度はもちろん重要だが、なぜモデルがそのような振る舞いをしているのかを説明できない場合、事業の責任者や、顧客などのステークホルダーの支持を得ることが難しい。

　また、モデルを構築する過程において、精度の向上のためにエラー分析は非常に重要だが、うまく予測できないサンプルがなぜそうなったのかを知ることはモデルの改善に非常に重要である。さらに、例えば機械学習モデルが差別的な振る舞いをしてしまうことが指摘され問題となっているが、こうした事象を未然に防ぐためにも解釈性は重要である。予測精度と解釈性にはトレードオフの関係があると言われており、解釈性は深層学習によるモデルが普及する現在、重要な研究テーマの一つになっている。

　今回の記事ではICLR2020採択論文である「Feature Interaction Interpretability : A Case for Explaining Ad-Recommendation Systems vi Neural Interaction detection」^（ii）から、特に変数間の交互作用に関する解釈性に関する手法を紹介する。著者らは、変数間の交互作用を評価する指標である「Grad-NID（Gradient-based Neural Interaction Detection）」と、それを使って推薦システムにおける重要な交互作用を特定する手法である「GLIDER（GLobal Interaction Detection and Encodering for Recomenndation）」を提案した。そしてオープンな広告データを使って、実際に交互作用を説明し、GLIDERによって予測精度を改善することに成功。その上で、広告以外の他のタスクにおける有効性も示している。

　もともと著者らはICLR2018で変数間の交互作用を評価する手法「NID（Neural Interaction Detection）」^（iii）を提案していた。しかし、この手法は「FNN（Feedforward Neural Network）」にしか使えないという課題があり、この論文で提案しているGrad-NIDではそれを拡張して様々な形のネットワークにも適用できるようにしている。