店舗の棚割り写真からAIで商品を自動認識できるサービス「棚SCAN-AI」。開始から1年半、認識するだけでなく棚割り提案もしていく方向へかじを切る。自社の会員組織と「モバイル空間統計」、POSの組み合わせでどんな人にどれくらい売れたか分かる。メーカー、流通などのパワーバランスが変わるかもしれない。

店頭での棚割りを提案していく（写真はイメージ、写真／Shutterstock）

［画像のクリックで拡大表示］

　まずは、2018年4月にサービスを始めた棚SCAN-AIから紹介していこう。NTTドコモがAI(人工知能)による画像認識エンジンを開発し、サイバーリンクスが商品画像データベースと照合してシステム全体の販売を担当する。

　小売店舗において、店頭の棚割りをどう構成するかは極めて重要な問題だ。そのやり方次第で売り上げが大きく左右される。最適な棚割り構成を考えるには、まず棚にどの商品が並んでいるかを正確に把握する必要がある。これまでは人がスキャナーで商品データを読み込んで、手作業で専用ソフトへデータ化していた。

大手飲料メーカーなどが利用中

　こうした作業をディープラーニングで自動化したのが棚SCAN-AIだ。サービス開始以来、大手飲料メーカーやたばこメーカーなど数社が利用。新規に導入を検討している企業も複数社あるという。

スマートフォンで撮った陳列画像をディープラーニングで分析するため、まず物体検出をする（１）。次に検出した画像を商品データベースの画像と照合するため、特徴量マッチングで画像抽出（２-１）と、ディープラーニングで画像検索して抽出（２-２）をして、この２つをアンサンブル学習（３）。結果候補を統合して棚割り提案へ

［画像のクリックで拡大表示］

　「NTTドコモはAIの画像認識エンジンの開発担当で、サービスの提供は商品データベースを管理するサイバーリンクスにお願いしている。（顧客となる）メーカーが導入する際には、業務フローを全体的に見直す必要があり、PoC（概念実証）をやる場合が多い」。こう語るのは、NTTドコモの法人ビジネス本部ソリューションサービス部ソリューション・デザイン・第二担当主査の高聖明氏である。

　スマートフォンで棚を撮影し、サーバーにアップすると、AIが自動で棚にどんな商品が並んでいるかを解析する。棚割りのデータにはPTSフォーマットという標準規格があり、それに準拠したCSVファイルがダウンロードできる。これまでは、手作業で30分程度かかっていた。新システムではおよそ3分で終わるという。

画像から、350ミリリットルと500ミリリットルの違いを認識できるか

　現在の画像認識精度はおよそ90％。さまざまな技術を組み合わせて、ここまでの精度を実現したという。まず初めにディープラーニングを使って物体検出をする。ここでは大まかな矩形（くけい）で商品を切り出す作業をしている。

　次にその切り出した画像を、商品データベースの画像と突き合わせるわけだが、ここで2種類の作業を行う。1つは古くからある技術の特徴量マッチングで画像を抽出する作業だ。そしてもう1つがディープラーニングで画像検索をして抽出する作業である。最後にこの2つについてアンサンブル学習して長所を取り出して結果を作る機械学習器で、結果候補を織り交ぜて出力する。

　商品を認識する上で最も難しい1つが、350ミリリットルや500ミリリットルといったサイズ違いの商品を区別することだという。例えばライターなどと並べて撮影してあれば、すぐ分かる。ただ商品単体で判断するとなると、人間の目でもかなり難しい。今は、棚全体をまとめて選択し、手動で容量を指定できる機能を追加しているが、今後このサイズ違いの認識精度をいかに上げるかが課題だという。