大阪・関西万博出展の舞台裏で協力してくださった方々の物語集 [第四話]

ある日、D・Ace の高本さんが「どうしてもうまくいかない開発がある」と牧野さんに相談したことがありました。すると牧野さん、その開発中の機器を受け取るや否やバラバラに分解して内部を確認して、あっさり問題を突き止めてしまったそうです。

高本さん曰く――
「まじ、この人やばい（笑）」

これが牧野さんのすごさ（分解魔…)。そして今も、箱庭ARドローンのプロポを開発されていて、Slackで共有してくださった“魔改造”の様子がこちら。『もう、まじ、やばい！』

📘 前回までのお話

ALSを患いながらも視線でプログラミングを続けた牧野さんの友人・Areさん。
その姿に背中を押され、万博に向けて「視線だけでドローンを操作する」挑戦が始まりました。

藤沢での初実験では「動いた！」という手応えを得つつも、視線のズレや疲労感といった課題が山積み。
その後、墨田ラボでの第二実験では、中野さんとの出会いと「十字キー型UI」への転換があり、操作感は大きく改善しました。

しかし同時に、デバイス接続の不安定さや、シーンの波に視線が引っ張られる問題など、新たな壁も次々と浮かび上がってきたのです。そんな中、JASA事務局の樋口さんにご相談したところ、もう一式の視線入力機器をご用意いただけることに。

──そしてついに、新しい機材が手元に届いたのです。ここから「視線操作の実験」が始まります。

視線操作の実験開始

前回、悩まされていた
「操作中に突然、視線入力が効かなくなる」
問題の本格的なデバッグ開始です。

視線入力センサーの問題なのか？
それとも、箱庭ドローンシミュレータ側に起因するのか？

切り分けのポイントは、次の3つ。
①視線入力センサーからの経路
②パソコンからゲームコントローラへの経路
③ゲームコントローラからパソコンへの経路

まずは、USBモニタをつないで信号が途切れるポイントを探ることにしました。

（いや、普通そんなの持ってないでしょ…😅）

ところが、USBモニターで眺める限りは、データはきちんと届いている。

どうやらハード側の問題ではなさそうだ。
—- そんな感触が見えてきました。

コントローラ入力のデバッグ

次は、全ての機器と箱庭ドローンシミュレータのセットアップを行いました。
そして、実際に操作をしながらのデバッグ開始です。

この時、活躍したのが、牧野さんが作成してくださったコントローラ操作のデバッグ用ツールです。
コントローラの各ボタンやスティックがどのインデックス値に割り当てられているかを確認できるのです！
（※詳しくは公式マニュアル参照）

さらに、デバッグを進めていくと、視線でBボタン(カメラ撮影操作)をを押した瞬間のことです。

なんと、

「視線操作用のゲームコントローラからの入力が、まるごと途絶える」

という致命的な現象が判明しました。

どうやら
　「視線入力が何かしらの操作で中断されると、ゲームコントローラ側の入力も止まってしまう」
らしい。

(……見逃してしまいそうな一言ですが、いや、そこ気付けるのホントすごい😅)

とはいえ、今回の万博イベントではカメラ撮影機能は使いません。
そこで思い切って 「Bボタンは外す」 という割り切りの判断を下すことになりました。

視線操作のユーザインタフェース改善

前回の実験の最中、中野さんからこんな一言がありました。
「なんとなく、実際に見ている場所と反応がずれている気がするんです」
この課題に挑むべく、牧野さんの次の実験が始まりました。

そして、実際に試してみたところ、
　「確かに反応にワンテンポ遅れ」
を感じる。

目線を動かしてから UI がついてくるような、微妙なズレ。
これでは「操作している」というより「待たされている」感覚になってしまう。

この“待たされ感”を消すには、複雑さを削ぎ落とすしかない。
そして、その答えは「シンプルさ」にありました。
視線でドローンを操縦するのだから、手で操作するときとは違う。
ここで、従来のドローン操縦の常識を捨てる決断をしました。

つまり ――
「視線が当たった瞬間に反応する。それだけです。」