ディープラーニング(DL)は現代のAI(人工知能)開発における要の技術。翻訳や物体認識、 文字認識などで必要になる「モデル構築」を、劇的にシンプルかつスピーディーにする新たな手法が発見された。たとえるなら、広大な砂漠から宝のありかをどんどん絞り込んでいくようなイメージで、自身の環境に適応した最新のAIを作り出すことも簡単になる。DLモデル構築に新たな時代を切り開く、新手法について紹介していく。
物体認識やOCR(光学文字認識)、翻訳などで、ディープラーニングを用いて新たな機能をつくるとき、必要になるのが「モデル構築」という作業だ。だが、このモデル構築の選択肢があまりに多いため、最適なハイパーパラメーター(畳み込み層などのDL機構や、モデルの学習の方法、学習時のパラメーターなどを指定する値)をどう設定するか、という探索が困難を極めていた。
また、計算リソース等の条件が変更されると、最初から探索し直す必要があり、柔軟性にも欠けていた。たとえて言うなら、「広大な砂漠から、経験や勘を頼りに手当たりしだいに宝の場所を探している」イメージだった。
そこで新たに登場したのが、「Designing Network Design Spaces」で提案された モデル構築手法だ。パラメーター集合からサンプリングすることでモデルを構築する方法で、これによりシンプルかつ柔軟性のあるモデル構築が簡単にできるようになった。「広大な砂漠から、宝がありそうな場所を絞り込んでいき、徐々に捜索範囲を狭くしている」 イメージだ。さらに面白い点は、本論文の実験結果では従来よりも高速に推論可能なモデルを構築しており、速度面においても成果を上げていることだ。 今回は、そんなモデル構築手法に関する最新論文を紹介する。
LeNet[LeCun et al. 1989]やAlexNet[Krizhevsky et al. 2012]、VGG[Simonyan el al. 2015]、ResNet[He et al. 2016]等の先行研究により、画像認識の分野において、畳み込み処理やネットワークサイズ、学習データサイズ、residual機構等のネットワークデザインの重要性は示された。しかし、1点の最適なハイパーパラメーターを探索する従来手法は最適なDLモデルの構築が可能な一方で、複雑かつ無数の選択肢から最適なパラメーターを見つけ出すことは困難を極めている。これは再現実験の難化にもつながっている。
また、従来のネットワークデザインは特定の条件（例えばモバイル環境のような計算リソースの制限等）を前提としており、この条件が変化した際に最初からハイパーパラメーター探索をする必要があるため、条件変化に対して柔軟性がない。
今回紹介するのは、これらの問題に取り組み、新たなネットワークデザイン手法を提案したDesigning Network Design Spaces [Radosavovic et al. 2020]である。この論文では、design spaceというモデルの集合からモデルをサンプリングすることを考える。
最適なdesign spaceを探索することで、柔軟性があり、高性能なモデルを生成することを可能にしたネットワークデザイン手法を提案している。また、この手法ではモデル設計をシンプルに記述できるようになるため、モデルの再現が容易になる。さらに、本論文の実験結果では従来よりも高速に推論可能なモデルを構築しており、速度面においても成果を上げている。
発想の鍵は、視点を「点」から「面」へ向けること
この提案手法の着眼点で面白いのは、高性能なモデルをサンプリングできるパラメーター集合（design space）を探索する点だ。その違いを図1に示したが、最適なハイパーパラメーター1点を地道に探していく従来手法（左側）とは大きく異なることが分かるだろう。
では、design spaceベースの探索にはどのようなメリットがあるのだろうか。それは、僅かな記述で、実験条件の変更に強いモデルを示せることである。これは、モデルの再現を容易にするだけでなく、パラメーター集合に対し制約を加えるだけで様々な条件（例えば、計算リソースに制限を加えたモバイル環境条件等）での検証も行えるようになる。つまり、あらゆる角度でモデルの分析が可能となり、より深い考察ができるようになる。
この記事は会員限定（無料）です。
- ①2000以上の先進事例を探せるデータベース
- ②未来の出来事を把握し消費を予測「未来消費カレンダー」
- ③日経トレンディ、日経デザイン最新号もデジタルで読める
- ④スキルアップに役立つ最新動画セミナー
