ミライセンスがゲームを変える 心を揺さぶるハプティクス・テクノロジー(3/3)のイメージ画像

ミライセンスがゲームを変える 心を揺さぶるハプティクス・テクノロジー(3/3)

いかに大きな潜在能力を秘めた技術であっても、それを実用化し、広く活用してもらえなければ意味がありません。「3D触力覚技術」を実用化するためのハードルはたくさんあります。本シリーズ(3/3)では、クリエイターが求める触力覚を的確に表現するための開発環境や、脳に感じさせるための刺激を与えるハードウェア、さらには3D触力覚技術の将来応用について解説します。

表現したい多様な触力覚を、圧覚・触覚・力覚の3成分に分解

――3D触力覚技術は、錯覚しやすい脳の性質を利用して、リアルで豊かな触覚を脳に感じさせるきわめてユニークな技術です。ただ、現時点では、コンテンツの制作者などが、触力覚表現を自在に操る知見や方法論、スキルを保有しているわけではありません。また、表現したい触力覚と、脳を錯覚させるために指に与える刺激パターンの間には大きな隔たりがあり、クリエイターが的確な刺激パターンを作ることは困難なように思えます。

中村:3D触力覚技術を実用化し、広く利用してもらえる技術にするためにはそこを解決する必要があります。人間が感じる触覚、つまり表現したい触力覚はきわめて多様です。それをデジタルデータで表現し、処理・蓄積・伝送できるようにするためには、まず、それぞれの触覚がどのような基本成分で構成されているのか整理しておく必要があります。

ディスプレイで多彩な色を表現できているのは、あらゆる色を、赤・緑・青からなる三原色の適切な重ね合わせで表現できるためです。同様に、ミライセンスでは、脳における知覚・認知に基づいて、硬さや柔らかさを感じる「圧覚」、表面の材質を感じる「触覚」、押されたり引っ張られたりする感じが得られる「力覚」の3つを基本成分として、その組み合わせであらゆる触覚を表現する「三原触」を提唱しました。触力覚をデザインする際には、これら3つの成分を組み合わせて、求める質感を作っていくことになります。

ミライセンスが提唱している「三原触」

 

 

「3D触力覚技術」デモンストレーション動画

クリエイターが簡単に活用できる開発環境を用意

――まず、多様な触覚を、デジタル的に処理しやすいかたちに表現し直したということですね。開発ツールのようなものはあるのでしょうか。

香田:触力覚を編集するツールを用意しています。映像コンテンツに迫力や臨場感を加えるための効果音というものがありますが、それをリファレンスとして触力覚を簡単に編集するツールをお客様に配る準備をしています。

前に引っ張られる感じ、後ろに押し戻される感じ、ちょっとザラザラした感触、粗く凸凹した感触に関連した直感的なパラメータを指定することで、即座に指に与えるべき最適な波形パターンを作り出すツールです。映像制作の現場では、思い通りの映像を簡単に作り出すための動画編集ツールなどが使われています。そのハプティクス版といった位置付けのツールだと思ってもらえると、分かりやすいと思います。

ミライセンスが開発したハプティクスの編集ツール

――使い手目線の開発ツールが用意されているのですね。

香田:さらに、指に与える振動の波形パターンは、ゲーム・コントローラなどのデバイスの形や特性に合わせて最適化する必要があります。指に与える刺激パターンとなる振動を発生させる装置は、一種の音響機器のようなものです。デバイスが変われば、バイオリンの調整のように、駆動波形をチューニングする必要があるわけです。これは職人技であり、ミライセンスのエンジニアでも、手作業でチューニングしたら数週間掛かるケースがあります。これをお客様がやるというのは不可能に近い状態でしょう。

そこで、中村が蓄積してきた知見をデータベース化し、AIを応用したシステムを作りました。アクチュエータを入れるデバイスの形や、ユーザの持ち方を入力すれば、数秒で最適な波形の調整法を算出できます。パラメータを変えながら最適点を探れば、デバイスの仕様が変わっても、迅速にフィットさせることが可能です。

XEODesign Nicole Lazzaro氏のコメント

デザイナーの創造力を引き出す次世代ハプティックの体験を提供するためには、直観的で使い勝手がよく、柔軟性の高い開発ツールが欠かせません。開発段階では、コンテンツに盛り込む触力覚の雛形を選び、調整し、組み合わせながら、ゲーム画面上と調和の取れた触力覚の表現を作り出していきます。コンテンツ制作に関わる音響エンジニアは、効果的かつ効率的に音響効果とフィルタを活用するため、多様なライブラリを使用しています。同様に、未来のハプティクス・デザイナーにも、触力覚のライブラリが必要になってきます。また、ライブラリとして提供される素材を基に、表現したい触力覚を簡単に作り出すためのハプティクス編集ツールも同様に必要です。使い勝手がよく、柔軟性の高い開発ツールがあれば、デザイナーはより多くの表現を試し、繊細で没入感のあるハプティクス体験を創出できます。

――ハプティクス技術を活用する機器メーカやクリエイターの手間を極力軽減する仕組みを作っているのですね。

香田:クリエイターの方々がコンテンツ制作に集中できるよう、ハプティクス技術を活用する部分で悩まないような仕掛けは整えています。音響効果の制作でも、約20年前には、シンセサイザで求める音を出すためにものすごい苦労をしていたと聞いています。こうしたコンテンツ制作の経験を生かして、ハプティクスという新しい表現手法を活用する際には、同じ轍を踏まないようにしています。

指に与える多様な刺激パターンを緻密に出力する新たなアクチュエータ

――ゲーム機の中には、コントローラに振動を発生させる装置を搭載しているものが既にあります。3D触力覚技術で脳を錯覚させるための刺激を与える装置には、どのようなものが必要になるのでしょうか。

香田:これまでのゲーム機のコントローラに搭載されていた振動発生用のアクチュエータには、「リニア・レゾナント・アクチュエータ(LRA)」と呼ばれる単純な振動しか出力できないものが使われています。レゾナントとは、共鳴現象を利用していることを指します。特定周波数の振動については大きな出力を生み出せるのですが、その他の周波数の振動を効果的に発生させることができません。このため、触力覚表現は、モールス信号のようにリズムを刻むことしかできませんでした。楽器でいえば太鼓のようなものなのでLRAでは、3D触力覚技術で人間の脳を錯覚させることはできません。

中村:3D触力覚技術を実現するためには、幅広い周波数帯の振動を出力できる「ワイドレンジ・リニア・アクチュエータ(WLA)」(ミライセンス定義)と呼ぶ、より進化したアクチュエータが必要です。より複雑な刺激パターンを作り出せる表現力が必須になるのです。

映像表現を出力するディスプレイも、表現力を高めるためには、画面の大きさや明るさを高めるだけではなく、解像度や色数、コントラスト比、ダイナミックレンジ、応答速度などを向上させる必要があります。より高度なハプティクスを実現するためには、これと同じことがアクチュエータにも求められます。

従来のハプティクス向けLR Aと3D触力覚技術向けWL Aのアクチュエータの比較

――3D触力覚技術への適用に向けた理想的なアクチュエータの開発は進んでいるのでしょうか。

中村:アクチュエータは刻々と進化しています。最初使っていたものは、大きな振幅を出しやすい偏心モータでした。ただし、発生する振動が不自然だったため、現在のリニア・アクチュエータを使うことにしました。WLAも、たとえば圧電素子を応用して小型化するなど進化していきます。

――ミライセンスは、アクチュエータ開発にも取り組んでいるのでしょうか。

中村:元々、ハードウェア開発にも取り組んでいたのですが、私たちのコア技術はアルゴリズム開発の部分にあるため、ハードウェア関連の技術開発には自ずと限界がありました。そこで、ハードウェア開発に強いムラタとともに、これまでミライセンスが蓄積してきた知見を生かして、ハプティクス向けに最適化した仕様の新たなアクチュエータを開発していきます。

実用化・応用開拓に向けエコシステムを整備

――ハプティクスは、映像や音響の技術と異なり、実用化も応用開拓もこれから新たに推し進めていく必要がある手付かずの分野です。開発ツールやアクチュエータなど、技術を活用するためのエコシステムの準備と整備が欠かせないのですね。

香田:そのとおりです。ミライセンスでは、3D触力覚技術とその活用に関連する特許を全世界に約40件出願しており、そのうち20件が登録済みです。しかも、そのほとんどが基本特許と呼べる技術の根幹を占めるものです。錯触力覚を活用するハプティクス技術を実用化するために必要な技術の特許はすべて網羅しています。こうしたミライセンスの技術開発の成果とムラタが強みを持つ技術を持ち寄り、擦り合わせながら、必要なエコシステムを最適な形で整備していきます。

――ミライセンスは、ハプティクス技術を、まずはどの分野での応用を支援していこうとしているのでしょうか。

香田:まず応用開拓したいと考えているのは、エンターテインメントの世界です。ゲーム機やVRや拡張現実(AR)を活用したコンテンツの制作を支援していきます。そこでは、ハードウェアに強いムラタの利点を生かして、ゲーム機メーカや機器メーカに提供するソリューションを開発して、数年以内に提供していく計画です。錯触力覚を活用するための開発ツールは、ほぼ完成しています。アクチュエータと制御基板、各種ファームウェアなどで構成したハード開発試作用キットも用意します。

ミライセンスのビジネスモデル

遠隔地間での場の共有や遠隔手術など応用は広い

――将来的にはどのような分野へと応用分野を展開していくのでしょうか。

香田:ハプティクス技術は、映像や音響だけでは伝え切ることができなかった場の雰囲気や人との距離感を伝えることができます。この性質を活用すれば、テレコミュニケーションの分野に、「テレフォン」「テレビジョン」に続く、「テレスペース」と呼べるイノベーションを起こすことができます。既に世界の企業と一緒に実用化を見据えた取り組みを進めています。さらに、車載機器やスマートホームなどでのHMIにも展開できると考えています。

また、これは中村の古くからの望みなのですが、医療分野にも応用できればと考えています。安全で精度の高い遠隔手術の実現や医師による手術の練習で、ハプティクス技術の活用はきわめて効果的です。“ゴッドハンド”と呼ばれる名医は、手術中に手に伝わる感触を非常に大事にしているようです。ところが、現在の遠隔手術システムでは感触がフィードバックされないため、視覚情報だけに頼る手術をしなければならない状態です。ハプティクス技術は、名医のスキルを最大限まで活用できる遠隔手術を可能にします。

さらに、建設機械などを遠隔操作するのにも利用できます。ブルドーザなどを操作する作業員の方々は、どのくらいの量の土を掻き上げたのかを操作桿などから伝わる感触で判断しています。ハプティクス技術を無人の建機に応用すれば、東京のオペレーションセンターから、VR環境で遠隔地の工事を行うことができるようになるかもしれません。

――ミライセンスは、最終的にはどのような価値を提供する会社になることを目指しているのでしょうか。

香田:私の思いをお話しすると、コンテンツ制作の業界で日常的に利用する表現手段として、ハプティクスを定着させる役割を担いたいと考えています。私たちが先頭に立って、ハプティクスのある新しいコンテンツの世界を切り拓いていけたらと思っています。

また、ハプティクス技術は、「テレフォン」の発明による音声コミュニケーションの発展、「テレビジョン」の発明による映像コミュニケーションの発展に続く、情報伝達の新たなパラダイムシフトを起こす技術であると確信しています。映像・音声による情報に加え、場の雰囲気や人との距離感を伝送できるハプティクス技術を使って情報伝達すれば、離れたところにある空間の状態そのものを伝送できる「テレスペース」の技術を実現できます。遠いところにいる人があたかも隣にいるかのような感じ、握手したり、場の空気を感じながらのコミュニケーションができる。これが第3のコミュニケーション革命になると思います。

世界をリードする技術を提案していくための素地として、ミライセンスがムラタグループの中にいるということは、確実に有利に働くことでしょう。新しい価値を持つコンテンツの表現手段であるハプティクスを軸に、ヒューマン・マシン・インタフェースの世界一の会社を目指したいと思っています。

XEODesign Nicole Lazzaro氏のコメント

 ミライセンスの技術をさらに発展させていくため、今後も一緒に仕事ができればと思っています。ハプティクス技術のリーダーであるミライセンスには、さらに複雑な触力覚表現の実現と、より洗練された編集技術の提案を期待しています。さらに、ハプティクス録音、パフォーマンスツール、ステレオマルチレイヤ編集、ハプティクス・ライブラリ、注釈やコメントを含められるハプティクス・ファイル・フォーマットの提案なども期待しています。

さらに、ハプティクスの分野で、グラフィックス技術における物理ベース・レンダリングPBR(Physically Based Rendering:PBR)に似たハプティクスのモデル化技術を、ミライセンスが定義することに期待しています。PBRは、物体表面での光の反射や媒質内での散乱などの物理現象を再現し、光が光源から出て物体を照らし、カメラに入射するまでの流れをモデル化する技術です。よりリアルな表面の質感とライティングのために使われています。ミライセンスはハプティクスの分野で、PBRに似たアプローチを取ろうとしているように思えます。もしも完成したら、ぜひ実際に体験したいものです。

ハプティクス技術をフル活用した未来のアドベンチャゲームをプレイしている場面を想像をしてみてください。乾いた血で覆われた古びたレバーを引っ張ると、跳ね橋が下がり、そのときに巨大な鉄の鎖の重さを感じます。ギアが回転し、ブリッジがぴくぴく動いて所定の位置に下がるときの感触だけでなく、低い音も感じます。そして、宮殿の門を叩く際には錆びた鉄の質感を感じ、ほこりを払いのけながら進み、宮殿の壁にある古代の碑文を発見する。さまざまな質感を感じながら冒険することができます。革製の本を見つけて開き、ページをめくって暗号を見つけます。内側の聖域へのドアのロックを解除する暗号を解決しながら、タンブラーの重さと回転を感じます。聖像の巨大なルビーの形状と表面、装置の複雑な線条細工を感じることもできます。宝箱に手を突っ込み、金貨がすべり落ちて指の中に落ちるときに、金貨の滑らかな表面を感じて、ポケットに宝物を詰め込みます。あなたが脱出するときに、あなたを狙った弓矢があなたの真横をヒューと通り過ぎます。

これらすべての表現を次世代のハプティクス技術で再現することできるのです。ミライセンスが発明する新しい技術を体験するのが今から楽しみです。

ハプティクスは未踏のフロンティア、大いなる可能性がある

第5世代移動体通信システム(5G)が実用化し、離れた場所の間で、膨大なデータを低遅延で、多くの端末の間でやり取りできるようになりました。これによって、高精細な映像や音声、さらにはVRを活用したコミュニケーションが可能になりました。ここに、3D触力覚技術を合わせて使えば、これまでとは質の違う、お互いの距離を感じさせないコミュニケーションが実現することになるでしょう。

触力覚を実現するハプティクス技術はまだ始まってもいない状態であり、そこには大きな可能性があります。また、応用分野もきわめて広いことが予想されます。未来のコンテンツ表現やコミュニケーションを支える基盤を、今作っているのがミライセンスだといえます。電子機器メーカやコンテンツのクリエイターが、その技術をいち早く活用し、イノベーション創出に着手できる準備が整いつつあります。

左からミライセンス コファウンダー 取締役社長 香田夏雄/ミライセンス ファウンダー CTO、国立研究開発法人産業技 術総合研究所 主任研究員 中村則雄

関連リンク

関連記事