中国EC最大手のアリババ集団のセキュリティー事業「阿里安全（アリババセキュリティー）」は、AI（人工知能）のセキュリティー能力診断技術「AI安全診断大師」を最近発表したと、2020年5月6日のプレスリリースで公表した。同技術は、医師が患者を診断して処方箋を出すように、AIモデルを全面的に診断して、外部の攻撃に対抗するためのセキュリティー能力を見極め、防御力の向上をサポートする。

AI安全診断大師により可視化されたAIモデルの診断結果（アリババセキュリティーのリリースより）

［画像のクリックで拡大表示］

　AIが抱えるセキュリティー上の問題には、「機械による感知」と「人による感知」の違いが根底にある。人による感知では、画像やテキストにおける局部の微小なかく乱には高い許容性がある。一方、AIはこれらに対して非常に敏感になる可能性があり、算出結果に大きな誤差をもたらしてしまう。

　このような特徴を持つAIモデルに対する攻撃は、一般的に「アドバーサリアルエグザンプル（Adversarial Examples）」と呼ばれる。画像や音声、テキストなどの分類や検出、検索などに利用されるAIモデルが、アドバーサリアルエグザンプル（攻撃）された場合、特に深い影響が生じる。その攻撃に対するAIモデル自身のセキュリティー能力を向上させるのに、「AI安全診断大師」が活用される。