ミライセンスがゲームを変える 心を揺さぶるハプティクス・テクノロジー(2/3)
仮想現実（VR）や3D画像の技術がゲームなどのコンテンツに活用されるようになりました。これまでの平面的な映像に比べれば確かにリアリティは増したのですが、それでも違和感のある人は多いのではないでしょうか。本シリーズ（2/3）では、「3D触力覚技術」の開発経緯を通じて、コンテンツに触力覚表現を利用することによるメリットとリアルな触力覚表現を可能にする原理について開発者自ら解説します。
画像がリアルになればなるほど、見る人はリアリティを感じない矛盾
――触覚や力覚に訴えるハプティクス技術(触力覚フィードバック)を活用することによって、これまでの視覚や聴覚に訴える表現手法にはない、どのような効果を期待することができるのでしょうか。
中村：ハプティクス技術を活用することで、よりリアルな体験をユーザに提供できるようになります。その効果は、ゲームだけでなく、VR技術のアプリケーション全般に及ぶことでしょう。その効果を、私がハプティクス技術の研究を始めた動機を紹介する中で、お話ししたいと思います。
1985年に「国際科学技術博覧会(つくば万博)」が開催されました。そこで私は、迫力のある立体映像を初めて体験した、小さな子どもからお年寄りまでが、思わず触ろうとして手を宙に伸ばしている様子を見ました。その時、私はあることに気づきました。映像・音響技術が進化して、リアルになればなるほど、人はそれを本能的に触ってみたくなるのです。
ただし、立体映像、ホログラムなのですから、目で見えていても当然触れることができません。現実世界では、目に見えているモノに触れられるのは当たり前なのに、触れられないのです。リアルな画像が、リアルでありすぎるがゆえに、それに触れられない不自然さや不快感を生み出してしまうわけです。
触力覚は心の動きや体の動作との関わりが強い感覚
――技術の進化が逆効果に働く残念な状況ですね。
中村：そうなのです。映像や音響がリアルでなかったときには、それが作りモノであることがハッキリしているので、割り切って見ていたのだと思います。だから、それを触りたいとは思いません。ところが、本物と見間違えるほどのリアルな映像が出てきた途端に、触れられないというもどかしさ、表現上の欠けた部分が目立ってくるのだと思います。
ドアのカギを開けるときのガチャッという感覚、手を伸ばしてモノに触れたことで感じる距離感など、私たちは目に見えていなくても触ることによって、モノの存在感や状態を感じ取っています。確かに視覚や聴覚を通じて多くの情報を得てはいるのですが、実際にはそれら以外の感覚もフル活用しながら生きているのです。そして、そうした多様な感覚を通じて感じたことが合わさって、体験として記憶されています。
――触力覚で得られる情報には、視覚や聴覚で得られる情報とは別の価値があるのですね。
中村：生物の進化の過程で、最初に獲得した感覚は触覚であり、視覚・聴覚はずっと後になってからです。触覚に手応え感などの力覚を加えた触力覚は、きわめて原始的で本能的な感覚であり、心の動きや体の動作との関わりが強い感覚だといえます。
たとえば、生まれたばかりで目が見えない赤ちゃんも、触力覚を通じたお母さんとのスキンシップから、安心感や周囲との関わり方を理解・学習してきます。また、世界記録を目指す水泳選手は、体にロープを結び付けて引っ張って、世界記録に相当する泳ぎの感覚を経験する練習をした時代がありました。現時点で独力では体験できない、目指すスピードによって感じる水の抵抗感やぬめり感、それに適応できた時の体の動きを体感し、その中で最速のための動きを習得します。こうした体で体感したことを基に、新たな人の感情や能力が覚醒していく人の性質を「感覚・身体性における人間拡張」と呼んでいます。
XEODesign Nicole Lazzaro氏のコメント
ハプティクス技術によって、手触り感や表面触覚表現を作り出すことで、コンテンツのリアリティを高めることができます。ハプティクスは、効果的なストリーテリングや豊かな体験を生み出すために重要な役割を果たします。グラフィックスが8ビットから4K解像度へと向上し、フォトグラメトリー技術によってゲーム画像やプレイヤーとのエンゲージメントが向上しました。同様に、ハプティクスの向上は、ゲームへの没入感やあたかもモノがそこに存在する身体性の感覚をプレイヤーに想起させる画期的な技術となることでしょう。
次世代ハプティクス技術では、新しい概念のアクチュエータが使用されると期待されています。これらのアクチュエータは、スピーカと同様に広帯域の周波数で振動します。これによって、より豊かな触力覚表現が可能になることでしょう。
またハプティクスは、プレイヤーが操作した結果に応じて触覚を伝えるアクティブタッチ、双方向の表現手段として使用されたりします。ミライセンスが提供する開発環境は、これらの体験を定義、編集する上で不可欠なものになります。
錯覚しやすい脳の性質を利用して、実際にはない触感・感触を感じさせる
――触力覚表現は、ますます重要になりそうです。ただし、豊かな触力覚表現を実現することは、簡単なことではありません。たとえば、レンガの表面のザラザラした質感を表現する時、触力覚を生み出す要因であるレンガをわざわざ用意することはできません。
中村：そのとおりです。この点こそが、ミライセンスの3D触力覚技術の根幹である「錯触力覚発生技術」だからこそ実現できることです。錯触力覚発生技術を使えば、人間の脳の働きを利用し、触力覚の原因となる外的要因を再現しなくても、同様の触力覚を感じさせることができます。
人間は、脳の中で外界の状態を検知しています。その際、目や耳、皮膚などで情報を集め、総合的に外界の状態を判断しているのですが、それぞれの感覚器で得られる情報は断片的なものにすぎません。このため、脳の中で不足している情報を補い、得られた 情報の矛盾点を埋めながら無意識の中で外界の状態をモデル化しています。たとえば、右目で見えているモノと左目で見えているもモノがずれて見えていたら、その違いを理解するために立体的なメンタルモデルをイメージしているわけです。ただし、これは脳が勝手に描いているモデルであり、実際に外界がそのような状態であるとは限りません。脳が錯覚、誤解している場合もあるということです。
コンテンツの表現やコミュニケーションの媒体として触力覚を利用する際には、外界からの刺激を再現することが重要なわけではありません。脳で作られるメンタルモデルを再現できるようにすることこそが重要になるのです。簡単にいえば、錯覚を起こしやすい脳の性質を利用して、表現したい触力覚を感じているかのように、脳を騙せればよいわけです。
――ミライセンスの3D触力覚技術では、どのような方法で脳を錯覚させて、リアルな触力覚を感じさせているのでしょうか。
香田：3D触力覚技術では、アクチュエータで発生させた複雑なパターンの振動刺激で、皮膚の下にある感覚受容器を刺激します。その刺激パターンを適切に選ぶと、不思議なことに脳内で錯覚を起こし、大きな力で引っ張られる力覚や、何かの表面を触っているような触覚、手応えなどを感じるようになります。与えた刺激とはまったく別のリアルな触力覚を感じるわけです。この現象を利用することで、指に与える刺激パターンをコントロールしながら自在に触力覚を感じさせる技術が、ミライセンスの3D触力覚技術です。
XEODesign Nicole Lazzaro氏のコメント
ハプティクスは、人の触覚に訴えかけることで、新たな価値を持つまったく新しい表現を実現します。これによって、没入感や双方向でのストリーテリングが可能になります。触力覚は、人間にとって非常に重要な感覚のひとつであり、そこに訴える表現は、無意識のうちにプレイヤーの心を動かすことができます。触力覚情報は、視覚情報や聴覚情報に匹敵するほど重要なものなのです。
次世代ハプティクス技術を活用すれば、砂や水際を歩く感覚、レンガやガラスを触ったときの質感、ギターなどを弾く際の弦の細かな揺れ、モノが地面に落ちる際の振動など感覚をプレイヤーに提供できるようになります。こうした新たな表現は、ゲーム業界にとって欠かせないものになっていくことでしょう。
次世代ゲーム機のコントローラでは、次世代ハプティクス技術の搭載が重要な価値になってきます。またゲーム開発者は、触力覚を記録し、編集、実装できる編集ツールを使うことで、次世代ハプティクス技術を、コンテンツ表現を豊かにするために活用できるようになります。ただし、開発者自身がハプティクスの効果と使いどころを理解し、ゲームの中に的確に導入していかなければ意味がありません。ミライセンスが提供する3D触力覚技術は、次世代ソリューションを超えて、ゲームの没入感や深い体験を与えることができるでしょう。
――人間に加わる外部刺激を物理的に再現するのではなく、脳に錯覚を与える技術なのですね。
香田：そのとおりです。そこが、最も重要なポイントです。適切に刺激パターンを調整すれば、押した感じとか、引っ張られる感じとか、手応え感とか、ゴムを動かしたときの硬い柔らかい感であるとか、表面の材質感、ザラザラ感といったリアルで豊かな触力覚を自在に表現できます。
中村：錯触力覚発生技術を使えば、触力覚をデザインし、実際には存在しないモノの実体感や触り心地などを新たに生み出すことが可能です。さらに、人工知能(AI)などを活用して、どのような感触が、心地よく感じさせるのか、不快に感じさせるのか、安心感を与えるのか、脳で感じる感触と想起される感情を明確に関連付けることが可能です。こうした技術を使えば、触力覚をデザインするだけではなく、与える感情や体験も自在にデザインできるようになることでしょう。
ゲーム機のコントローラで、明瞭でリアルな感触を伝える
――コンテンツを制作するクリエイターやコミュニケーション機器を開発する開発者にとって、とても魅力的な技術ですね。ですが、指に与える程度の刺激ですから、それほど大きな刺激ではないように思えます。それだけで、ユーザが没入感や臨場感を得られるほどの触力覚を感じられるのでしょうか。
香田：そこが、私たちの技術のもうひとつのポイントです。従来のハプティクス技術では、大きな触力覚を感じさせるためには、大きな外部刺激を発生する大型で重い機材を用意する必要がありました。3D触力覚技術では、ゲーム機のコントローラのような小さな機材で、あたかも大きな仕掛けで外部刺激を与えているかのような感覚を生み出すことができます。当然、機材を作る際のコストも安価にできます。この特長があるため、民生機器用の技術として利用可能なのです。
中村：実は、私もハプティクス技術の研究を始めた当初は、物理的な力を再現して触力覚を感じさせるアプローチを試していました。しかし、いかんせん装置が大きく、重くならざるを得ませんでした。試作機を機器メーカに持っていって見せても、「面白いけど、装置はどのくらいまで小さくできるのですか」といった質問が必ず出たものです。私も、装置が小さく軽くなり、消費電力も小さくならないと実用化されないことは理解していましたから、とてもショックでした。
そのままのアプローチでは実用化できないと考えた私は、元々の専門だった脳科学に立ち戻ってハプティクスの実現手法を根本的に考え直しました。そして行き着いたのが、物理的に外部刺激を再現しなくても、脳内で触った感覚を再現すればよいのではないか、という発想でした。これが、結果的に誰も試していない新しいアプローチでした。2000年代初めのことです。
超小型のアクチュエータで2次元の触力覚を感じさせる試作品
――これまでのハプティクス技術とは、コンセプトレベルから異なる、画期的な技術なのですね。現時点で、どの程度の表現ができるのでしょうか。
香田：シークレットな部分も多くあるのですが、話せる範囲ですと、角砂糖よりも少し大きいアクチュエータを使って、既に2次元での力覚、圧覚、触覚を再現できるシステムができています。
本来ならば、空間のいかなる方向からの刺激も感じられる3次元対応のデバイスを実現済みですが、現時点ではそのメカニカルな構造が複雑になってしまいます。このため、現在はあえて次元を落としてまずは量産可能なアクチュエータを作ろうとしています。それを手に装着することで、前後、右左に力が加わったり、グルグルと手が回されたりといった感覚が得られるものです。押し込む動作をすると押し返されるように感じたり、モノまでの距離を感じることができたり、表面を指でなぞったときのザラザラ、コツコツといった表面材質感のようなものは、既に実現できています。
ただし、現時点では3次元の表現はできないので、上下方向の感触を得ることはできません。3次元的な表現ができれば、立体的なモノの形を触っている感触として感じられるようになります。ここが、今後の技術課題です。
XEODesign Nicole Lazzaro氏のコメント
ハプティクスは、ゲーム制作の分野では未踏の領域でした。ゲーム開発者が、モノの表面の質感や方向性のある力覚を活用して効果的にコンテンツを表現すれば、プレイヤーを架空の世界に導いたり、没入感を高めてプレイヤーの主体性や感情を高めることができるようになります。私たちの仲間やデザイナーとしての自分自身も、実際にミライセンスの技術を利用し、3次元物体に対してVR空間で触ることができたときは大変感動しました。この技術をたとえば、仮想的な森の中を歩いて葉が肌に触れるのを感じたり、プレイヤーが手にエネルギーボールを集めて発射する感覚を実感させることができるのです。ミライセンスの技術を体験後には、ハプティクスが導入されていないVRゲームを体験しても物足りなささえ感じました。
関連リンク
- 世界初 リアルな「挙動感」を直感的にデザインできるハプティクス生成ミドルウェア「PulsarSDK」を開発
- 「3D触力覚技術」を手掛けるミライセンス社の買収について
- ミライセンス ウェブサイト
- オンライン展示会「ミライセンス “3DHaptics™”」