NECがAIで障がい者支援　視線や姿勢で音を出せる楽器を開発

NECは、障がいのある人が楽器を演奏できるように、人の視線や姿勢によって音を出せるようにした電子楽器「ANDCHESTRA（アンドケストラ）」を開発した。AI（人工知能）技術と人との関係性を追究するための研究開発としての製品で、今後は主にイベントなどで展示していく。

「アンドケストラ トランペット」は「遠隔視線推定」という技術を活用。カメラで視線を捉え、その向きから音を出す

［画像のクリックで拡大表示］

　楽器は「アンドケストラ トランペット」と「アンドケストラ バイオリン」の2種類。本物の楽器とは異なり、楽器を模した外観にカメラや画面、スピーカーを搭載。2020年3月30日に発表した。AI（人工知能）技術と人との関係性を追究するための研究開発としての製品で、今後は主にイベントなどで展示していく。

　「アンドケストラとは、オーケストラ（Orchestra）の最初の2文字の“or”を“and”に置き換えた造語。誰もが参加できるオーケストラを作りたいという思いからプロジェクトを立ち上げた」と、開発を手掛けたNECのIMC本部シニア・エキスパートの茂木崇氏は説明する。

　アンドケストラ トランペットはNECが開発したAIの「遠隔視線推定」と呼ぶ技術を活用。顔の目頭や目尻、瞳など目の周囲の特徴点を検知し、視線の方向を推定する。方向と音階を定義付け、視線に合わせて音が出る。

視線を動かす位置で音が定義されている。やってみると視線だけ動かすのがなかなか難しいが、コツをつかむと自由に演奏ができそうだ

［画像のクリックで拡大表示］

「遠隔視線推定」は顔認証技術の一つ。目頭や目尻、瞳などの目の周囲点の特徴点を正確に特定し、通常のカメラで高精度で視線方向を検知できる

［画像のクリックで拡大表示］

　NECの技術の大きな特徴は精度の高さに加え、離れた場所から1台のカメラで複数の人の視線を同時に推定できること。既にビジネス利用が始まっている技術で、例えばスーパーマーケットやコンビニエンスストアを訪れた顧客が商品棚やディスプレーのどこを見ているかを把握・分析するために活用しているなど、マーケティング分野で実績がある。

実際の演奏風景。デモでは一人の視線を捉えて音を出していたが、複数の視線を捉えられるため、オーケストラのような演奏も可能になる

［画像のクリックで拡大表示］

　アンドケストラ バイオリンが採用したのは、腕を上げたりする人のポーズをAIで検知する「姿勢推定」と呼ぶ技術。音階と人の動きを定義付け、異なるポーズごとに音が出る。

「姿勢推定」の技術で音を出す「アンドケストラ バイオリン」

［画像のクリックで拡大表示］

実際の演奏シーン

［画像のクリックで拡大表示］

　NECの姿勢推定の技術は研究段階でビジネス利用はまだないが、低解像度の画像でも人のポーズを高精度で推定できるという。ゴルフのスイングを分析するなど、姿勢に関連するサービスに応用できるとみている。

姿勢推定の仕組み。体の間接点と中点を検出し、間接点から体の領域を推定、中点と人体の領域から姿勢を推定する

［画像のクリックで拡大表示］