センサとAIの融合で築く、人と機械の新たな関わり

人のメンタルの状態を数値化するテクノロジー

2021/03/29

人の心は、掴みどころのないものの代表です。それぞれの人の個性にもよりますが、言葉で話す内容や一見した顔の表情だけでは、その人が本当に思っていることを判断できないことがほとんどです。

ところが、人の心を読むことが仕事の心理学者や精神科の医師だけでなく、ベテランの営業担当や店舗の接客係の中には、相手の声や仕草、わずかな表情の変化から心の中をかなり的確に読むスキルを持つ人たちがいます。顧客の感情や真意を推し量れない営業や接客が大多数の中、こうした人たちは、顧客の潜在的望みを叶える的確な提案をすることで、悠々と好成績を上げます。こうした人の気持ちを探る達人と同様に、他人の感情や真意を正確に推し量ることができれば、さまざまな分野の仕事のパフォーマンスを劇的に高められることでしょう。

その一方で、自分のメンタルな状態もまた、意外と自覚できていないもののひとつです。例えば、心配事で頭がいっぱいな時、また楽しみにしている週末の趣味に心が奪われている時、そんなタイミングで仕事の重要な判断すればミスを犯しがちになります。こうしたミスの多くは、自分の心が上の空であることを自覚できていれば防ぐことができます。スポーツ選手や創造的仕事に携わる人など、メンタル面での状態がパフォーマンスに大きな影響を及ぼす人にとっては、自分の心の状態を自覚し、適切に制御することは勝負や成果に直結する切実な問題となります。自分のメンタルを客観的に知ることができれば、平静な状態に整えるためのスキルを養うための助けになることでしょう。

個人が胸の内に秘めた潜在的なニーズに応える

近年、「ハッピーテクノロジー」と呼ばれる技術の開発に注目が集まっています。ハッピーテクノロジーとは、センサや人工知能（AI）などの技術を活用して人のメンタルの状態を定量的に把握し、よりよい感情を抱かせる解決策を提示する技術であるため、効果的に人々のニーズに合った製品やサービスの開発に活かすことができるのです。

ハッピーテクノロジーの利用シーンを、商品開発を例に説明します。

これまで、あらゆる産業の製品やサービスの開発において、過去の実績やマーケティング調査の結果などを基にして統計的にニーズを推定し、開発すべき商品のイメージを描いていました。ところが消費者の多様化が進み、なおかつ目まぐるしくトレンドが変化するようになったことで、個々の消費者の今を満足させる、製品やサービスづくりが求められるようになりました。製品やサービスの開発のゴールを突き詰めれば、顧客を満足させることになります。そこで、個人が潜在的に求めていることをあぶり出し、その人の感性や価値観に訴える製品やサービス施策を考えるためのヒントを掴む技術として、ハッピーテクノロジーの活用が期待されているのです。

表情、声、仕草、心拍などから感情を推測

ハッピーテクノロジーの鍵は、喜び、怒り、悲しみ、陶酔、感動、困惑といった胸の内に秘めた感情を推定する技術です。メンタルな状態を推定する際の糸口は、表情や体の動き、何気ない仕草、声、体温、心拍、発汗、脳の活動、心電などさまざまなものから読み取ることができます。これらの状態や変化を多様なセンサを使ってデータとして収集し、人工知能（AI）や機械学習などを活用して、観測対象となる人の感情を推測します。

読み取れる感情や推定の確度は、注目するパラメータそれぞれで、優れたところと劣るところがあるようです。

例えば、音声による感情の検知は、表情などに比べて、被験者が取り繕いにくい面があり表に出ない感情の推測に適しています。声帯などを意識的にコントロールできる人は、ほとんどいないからです。一方、顔の表情は、意識的に取り繕いやすく、推測の確度が低くなる傾向があるようです。その一方で、多人数の表情をカメラで一度に撮影し、映っている個々の人の感情を一括して推定できるといったメリットもあります。

また、データ収集の容易さも、それぞれのパラメータごとに異なります。表情や体の動きや仕草、声などのデータはカメラやマイクを通じて、非接触で収集できます。その一方で、心拍、発汗、脳の活動などのデータを収集するためには、一般に、センサを体に接触させる必要があります。ただし、これまでセンサを接触させないと収集できなかったデータを、非接触方式で収集する技術が発達してきました。例えば、近年、高分解能化と小型化が急激に進んでいるミリ波レーダや奥行き情報を取得できるイメージセンサであるToF（Time of Flight）カメラを利用して、人の心拍や呼吸を検知できるようになってきました。

理想的には、脳波など、脳の活動を正確かつ簡単にセンシングできれば最も高い確度での推定が可能になります。医学の臨床の分野ではそのための技術は確立させていますが、産業利用に適した形にまで進化するためには、さらなるブレイクスルーが必要です。

組織管理やスポーツ選手の自己管理など、続々出てくる応用例

既に、ハッピーテクノロジーの活用例が、さまざまな分野で出てきています。

例えば、ウェアラブル・デバイスやスマートフォンに搭載されている多種多様なセンサを使って収集した、行動データや活動量、脈拍などのデータから観測対象となる人の喜怒哀楽を推定する技術が実用化。それを企業組織やビジネスプロジェクトのチームマネジメントに活用しようとする試みが行われています。

また、カメラで収集した映像を活用する例も多くあります。駅に置かれた券売機などの利用者が操作に困惑していることを表情や仕草から察知して、担当者が先回りして声がけするシステムが実用化しています。スポーツやイベントの来場者の様子をカメラで撮影し、その表情から盛り上がりを定量化。状況に応じた演出や物販のタイミングを決めるのに活用する例もあります。さらに、クルマの車室内にカメラを設置してドライバの表情や仕草を捉え、運転中に注意散漫になった際に、警告を発したり、車速を減速させるといった応用の実用化も検討されています。

音声も、心を読む手段として活用されています。声の周波数やリズム、速さなどをAIで分析することで喜怒哀楽を判定する技術が実用化しています。例えば、2019年に日本で開催されたラグビーワールドカップでは、日本チームが選手のメンタル管理に利用しました。この技術では、言葉の内容は一切考慮することなく、声の音としての特徴から感情を判断します。日本語だけでなく、あらゆる言語の音声から感情を読み取ることができます。

限定的ですが、より活性化しているのが直感力に関連する右脳か、それとも論理的思考に関連する左脳なのかを定量的に測ることができる、脳波を計測するスポーツ選手向けウェアラブル・デバイスも登場しています。ゴルフのショットでは、左脳優位の時にミスショットが増える傾向があるそうです。さまざまなシーンでの自分の脳の活動状況を客観的に知り、プロゴルファが試合などでプレッシャーに打ち勝つように心を整える術を取得するためのトレーニングに活用されています。

ユーザの感情を探る機能を家電製品やゲームコンテンツに搭載

ハッピーテクノロジーの応用は、これからも思いがけないような領域に拡大していく可能性があります。いくつか面白い応用検討例を紹介します。

ユーザの心を探る技術を、家電製品の機能として搭載するアイデアが出てきています。例えば、居室内にいる人が快適に感じているのか不快に感じているのかを検知し、室温や湿度、空気の清浄度を自動調整するエアコンや空気清浄機などへの応用が想定されています。設定温度に合わせて自動調整する機能は当たり前のようにあります。しかし、心地よい温度には個人差があります。AIが、住民の傾向を学習すれば、一人ひとりに最適化した調整ができる可能性があります。こうした、住民の感情に目配りして、状態をコントロールする機能は、個々の家電製品に搭載されるのではなく、住宅の設備として設置される可能性もありそうです。

また、テレビゲームのコンテンツで、プレイしている人の感情の状態に合わせて、ゲームの難易度やシナリオを変えて、体験価値の向上させる試みもあります。ゲームをプレイする際に、あまりにも簡単すぎたり、逆に難しすぎると、プレイに熱中できず退屈になってしまいます。どのようなタイミングで退屈感を感じるかは、プレイヤーの性格やその時々の心の状態によります。こうした個人的な違いにコンテンツの方を合わせ込んでプレイするモチベーションを高めようというアイデアです。こうしたアイデアを試験的に盛り込んだ商用ゲームは既に登場しています。

ハッピーテクノロジーは、あらゆる分野にイノベーションを起こす

今、データをフル活用することによって経営、戦略、業務で新たな価値を生み出すデジタルトランスフォーメーション（DX）が、あらゆる分野で実践されています。ただし、これまでDXで扱っていたデータは、業績や成績、センサで直接計測できる物理量や化学量など、数値化しやすいものだけでした。ビジネスなど人が関わるあらゆる分野では、人のメンタル面での状態が結果を大きく左右しますが、これまで定量的データとして扱えなかったため、DXの手法に組み込むことができませんでした。

ここまで紹介してきたように、ついにメンタル面での状態がデータ化できるようになり、DXで扱うデータの中に組み込んで利用できる準備が整いつつあります。ハッピーテクノロジーの応用は、教育やエンタテインメント、さらには政治の分野など、感情やメンタルの状態の影響が大きな分野に劇的なイノベーションを起こす可能性があります。