VIVEリストトラッカーとVRChatの相性について
HTCの提供するVIVEシリーズには、HMD装着者のボディにおける手首部位をトラッキングできる製品として「VIVEリストトラッカー」が存在する。
VIVE リストトラッカー
VRヘッドセットのハンドトラッキングを強化したり、現実世界のオブジェクトをバーチャルリアリティに取り込むことができます。
VIVE Focus Vision、VIVE Focus 3、VIVE XR Eliteと互換性があります。
これは "トラッカー" を名称に冠す他製品（VIVE Tracker 3、VIVE Ultimate Tracker）と比較し非常に安価である。かつVIVE Focus Visionと互換性がある点からも、Lighthouse方式ではなくインサイドアウト方式でのトラッキングでも動作することが伺える。
しかし実際にこれを使用した人物によるレビューを読むと、非常に限定的なニーズしか満たせないという意見もある。
この「VIVEリストトラッカー」はどのような製品なのか、特にVRChatなどのアプリケーションでどのように活用できるのか（より厳密には、活用しづらいのか）。これについてメモしておく。
TL;DR
- VIVEリストトラッカーは、VRChatなどの一般的なアプリケーション向けではなさそうだよ
- ハンドジェスチャのみでの操作を前提としたり、コントローラやハンドジェスチャの代替となる物理的オブジェクトと連動するよう開発する場合向けっぽいよ
- HMD装着者の主観的視点から外れた際の第三者視点からの観測が重要となる場合には不向きだよ
検証環境と前提条件
今回はHMDとしてVIVE Focus Visionを装着し、左右の手首にVIVEリストトラッカーを装着した。その上、さらに左右の手にはVIVE Focus Vision付属のコントローラをストラップで括り、必要に応じ握れる状態にした。
実際の動作はVIVE Hubを用いたVIVE Streamingにより、SteamVR上のVRChatを使用して確認した。
実際に遭遇した問題
VIVEリストトラッカーを実際にVRChatで使用すると、当初想定していた以上の様々な問題に遭遇した。これをいくつか挙げる。
1. 付属コントローラとの併用不可
これが製品の汎用性が低く感じられる最大の要因と言えよう。VIVEリストトラッカーをVIVE Focus Visionへとペアリングすると、その際に既にペアリングしていた付属コントローラが全てペアリング解除されるのである。
VIVEリストトラッカーのペアリング時フロー
またその逆も然り、VIVEリストトラッカーがペアリングされた状態から付属コントローラのペアリングを試みると、全てのVIVEリストトラッカーはペアリング解除される。
コントローラのペアリング時フロー
この仕様は公式サポートページにも明記されているものだ。つまり、ユーザ操作の誤りで意図せず行われるものではなく、HTCによって元から意図して設計されている仕様のようだ。
右上の入力タイプボタンを選択すると、コントローラーの入力がトラッカーに切り替わります。
コントローラーのペアリング解除画面が表示されます。続行を選択し、コントローラーのペアリングを解除し、ハンドトラッキングをオンにします。
リストトラッカーのペアリング画面が表示されます。https://www.vive.com/jp/support/wrist-tracker/category_howto/pairing-and-calibrating.html
またこのペアリング時の全コントローラ解除仕様により「片手はHMD付属コントローラ、もう片手はVIVEリストトラッカー」といった併用も不可能となっている。新規ペアリング画面は、切替先（付属コントローラ or VIVEリストトラッカー）のみの接続を前提とするUIだ。
この「VIVEリストトラッカー使用時は付属コントローラを使用できない」という仕様により、VRChatなどの付属コントローラにおけるボタン押し分けが必要となるアプリケーションでは、アプリケーションの操作性が著しく損なわれるケースがほとんどだ。
もちろんVRChatはハンドジェスチャにも対応しているが、キーのトリガーに反応する多彩なオブジェクトや、パワーユーザの場合はExpresssion Menuの活用など、ハンドジェスチャのみによる操作が快適とは言い難いことは多くのVRChatユーザが知るところである。
2. インサイドアウトトラッキング範囲外での不安定さ
VIVE Focus Visionはインサイドアウト方式のトラッキングを採用している。他社ではMeta Quest 3も採用している方式だ。非Lighthouse方式であっても、HMDはコントローラの位置を特定できる。
ではどのようにしてVIVE Focus Visionがコントローラの位置を特定しているかに関しては、公式な公開情報は僅かだ。これはVIVEリストトラッカーにも当てはまり、その仕様はFocus 3のコントローラーと同じなのだという。
6DoFのオブジェクトトラッキング
VIVEリストトラッカーには、VIVE Focus 3コントローラーと同じLEDトラッキングテクノロジーが使われています。
たとえばMeta Quest 3の場合、コントローラに搭載された赤外線LED配列をHMD前面のセンサが検知することで実現しているとされている。
In a session at Meta Connect 2023, the company explained it has moved the IR LEDs from the tracking ring into the faceplate of the controller, while also adding a single IR LED at the bottom of the handle.
https://www.roadtovr.com/quest-3-touch-plus-tracking-coverage/
実際にVIVEリストトラッカーの仕様として、HMD視野内にトラッカーが収まっている必要があると明記されていることからも、近しい手法によって実現していることが想像される。
The headset must stay within the FOV of the tracker during operation. In addition, make sure there aren’t any objects between the tracker and the headset, as this will interfere with object detection.
https://developer.vive.com/resources/hardware-guides/vive-wrist-tracker-guidelines/
上記の注意書きからもわかるとおり、VIVEリストトラッカーの基本的なトラッキングは（付属コントローラと同様に）HMD前面に搭載されたセンサの視野角内に限られ、それを外れると（付属コントローラと同様に）加速度センサーやジャイロセンサーを元にした予測に頼らざるを得ない。
Out-of-sight tracking
High-frequency IMU data and an advanced kinematic model can predict the VIVE Wrist Tracker’s motion trajectories even when it's out of the camera’s view for a short period of time.https://www.knoxlabs.com/products/vive-focus-3-wrist-tracker
コントローラを使用しないハンズフリー状態において、VIVEリストトラッカーの装着で腕位置のトラッキングが部分的に改善されることは否定しない。視野角外での手首位置推定は、VIVEリストトラッカーにIMU方式でのトラッキングモードが存在するからに他ならない。
しかしながら、その使用者の目的がもし「手首や腕の各部位におけるトラッキング精度を改善したい」であるならば、それは付属コントローラにおける精度からはあまり改善されないというのが率直な感想だ。
左右の腕をHMDの周りで同期的に動かしている様子。HMD装着者の視野角外でのトラッキング維持が難しいことがわかる。
またこの時特別なハンドサインは取っておらず、手指は開いた状態。
3. ハンドトラッキング精度向上効果が希薄
VIVEリストトラッカーは、元よりHMDによるハンドトラッキング精度を向上させることが可能な製品として紹介されている。
Wear VIVE Wrist Tracker on a person's wrist to improve hand tracking accuracy.
https://developer.vive.com/resources/vive-business-streaming/wrist-tracker/en/
これは前述のVIVEリストトラッカーの位置を推定する手法からも恐らく事実だ。HMDビルトインのハンドトラッキング機能のみでは、その前面に搭載されたカメラやセンサーによって手が視野内に存在するかを解析する必要があるはずで、これはVIVEリストトラッカーにより手首位置の推定が高速で可能になれば精度が向上するであろうことが容易に想像できる。
It has built-in eye-tracking cameras, two 16MP full-color passthrough cameras, a depth sensor for mixed-reality room scanning and gaming, and an IR flood light for low-light hand tracking – all improvements over its 2021 predecessor, the Vive Focus 3.
だが、実際の使用感としては "ハンドトラッキング" としての精度向上は些細であると感じざるを得なかった。あくまでも精度向上するのは視野角内に手が存在することの判定、およびそれに従った手指の位置推定や角度なのであろう。
各指の握り込み等はHMDビルトイン機能による推定に頼る部分が多分にある為、手が検出できている状態でのジェスチャが上手く反映されない等の問題はあまり改善されるものではない。
またその仕組み上、ハンドジェスチャの判定が行われるのはHMD視野角内に手が存在する場合のみである。この為、この製品を装着したからといって手を下ろした状態で手の握り込みなどがトラッキングされることは当然にない。
誰向けの製品か？
ここまでに挙げた3つの問題は、特にVRChatでの利用を前提とした場合の致命的な課題である。
ではこの製品は無用の長物であるかというと、全くそうではない。
VIVEリストトラッカーの挙動から、たとえばキオスクモードを用いたアミューズメント施設や展示会における単独での利用を想定した体感型コンテンツ開発であれば有用なケースは存在するのではないか、と考えた。
1. ハンドジェスチャを中心としたコンテンツ
VIVE Focus VisionはBWSへの登録やキオスクモードの活用により、ビジネス向けのユースケースに対応できる。
VIVEマネージャーでヘッドセットのキオスクモードを設定することができます
HMDビルトインのセンサによるハンドジェスチャでの各種操作は正直限定的なユースケースしか満たせないものであると感じたが、裏を返せば、そういったハンドジェスチャのみを前提としたコンテンツ（およびそれを補助するスタッフ等の配置）であるならば、VIVEリストトラッカーによる正確な手首位置検出を活用したコントローラレスで魅力ある体験が実装可能だと考える。
VIVEリストトラッカーには各1個ボタンが搭載されている。そして装着位置は手首である。これは丁度腕時計のような位置にある。
たとえば、とある少年探偵が腕時計型の麻酔銃を装着し、それを駆使して謎を解く、という画期的なシチュエーションのアドベンチャーゲームを開発し、これをアミューズメント施設に設置するというユースケースが真っ先に思い浮かんだ。
一般的なVRアプリケーションでは、様々な機能の発火契機としてコントローラのボタンを押し分けることが求められる。
一方で、上記のようなゲーム性および一人称視点アトラクションでは、多くの場合プレイヤーへ高度な操作を求めることは望ましくなく、かつ没入感向上の観点からも、コントローラの代わりに手首のジェスチャと単純なボタン操作で進行可能なゲームはマッチしている。
あるいは、左腕に精神エネルギーを変換して打ち出す光線銃を搭載した不死身の宇宙海賊、という画期的なシチュエーションでも良い。普段は左腕を義手で隠しているという設定にし、右手のハンドジェスチャによって外すアクションを実装すれば、VIVEリストトラッカーのハンドジェスチャ補助性能を活かすことができる。
2. 物理的オブジェクトと連動したコンテンツ
実際にHTCから公表されているケーススタディ集に、警察官の訓練シミュレータにおけるVIVEリストトラッカーの活用例が掲載されている。
Our new, innovative accessory— VIVE Wrist Tracker —allows officers to intuitively interact with objects in VR—such as TASER energy weapons—just like they would in real life. These realistic scenarios require real-time assessment and split-second decision-making that results in more effective training and better real-world outcomes.
https://business.vive.com/us/stories/axon-de-escalation-vr-training-utilizes-vive-wrist-tracker/
このような物理的オブジェクトに別途トラッカーを仕込んでおくなどし、これを直接手で拾い握り操作するようなシミュレーションを実現する場合には、付属コントローラでの実現が難しい。HMDが手首の位置を正確に把握できることで、通常のハンドトラッキングにおける検出の遅延を軽減できることは容易に想像ができる。
以上のとおり、そもそもVRChatをはじめとし、多くのアプリケーションがHMD付属コントローラを前提とし設計されていることがミスマッチの要因である。VIVEリストトラッカーはそういったアプリケーションの為に設計された製品ではなく、ハンドジェスチャと物理的オブジェクトとの連動のために設計された製品であり、用途を考慮して入手すべきだろう。
おわり
以後の部分にコンテンツはありませんが、有料プランに加入するとシユカが昨日食べた朝食（約12文字）を知ることができます。
"拍手プラン" plans and above exclusive(s) Support amount：110 yen
By purchasing this back issue, you can view the exclusive bonuses for Feb/2025. What is a back issue?
Support Cost: 110 yen