2022年、右頬に設置したスイッチと、視線⼊⼒による操縦でドローンを飛ばす取り組みが行われました（株式会社シアンさんのプレスリリースの抜粋）。
📘 前回までのお話
ALSを患いながら視線でプログラミングを続けた牧野さんのご友人、Areさん。
「目さえ動けば、まだ作れる」という言葉と生き様に背中を押され、
「視線だけでドローンを操作する」
という万博に向けた挑戦に、本気で踏み出しされました。
その道の途中で出会ったのが、誰もが社会とつながれる体験を大切にしていた、株式会社シアンの岩井さん。
その活動に触れたとき、「視線入力操作 × ドローン体験」という構想が、にわかに現実味を帯びてきました。
そんな挑戦の長い道のりを、今回も少しずつ、綴っていきたいと思います。
🧪 視線でドローンを操る──藤沢での静かな衝撃
2025年1月初旬、牧野さんは単身、シアン・岩井さんのラボ（当時の拠点）を訪問されました。
「視線入力でドローンを操る体験とは、いったいどんなものなのか？」
「 そして、そのシステム構成は箱庭ドローンシミュレータと接続できるのか？」
──正直、何ひとつ、想像もつかないままの訪問でした。
🧰 利用する機材たち
岩井さんから紹介された機材は、こちらの２点。
赤外線を角膜に照射し、反射をカメラで捉えることで、
視線の動きを高精度に計測できる装置です。
筋ジストロフィーや脳性麻痺など、一般的なコントローラーが使いにくい方でも、
スイッチや視線などでゲームやロボット操作ができるよう設計された特別なデバイスです。
視線センサーとの連携も可能で、操作をサポートします。
🎯 視線操作のコンセプト
仕組みとしては、以下のような流れです：
① Tobbiが赤外線を眼球の角膜に照射し、その反射光をカメラで捉えて目の動きを追跡する
② 追跡した情報をPCからUSBにてゲームコントローラに伝える
③ 追跡した情報をゲームコントローラの操作情報としてPCに伝える
──文章で書くと簡単そうですが、実際にはなかなか複雑な構成です。
しかし、牧野さんの「脳内コンピュータ」が導き出したのが、以下のようなアーキテクチャでした。
箱庭ドローンシミュレータには、Pythonで作成されたゲームパッド向け箱庭アセットがあり、
PS4コントローラや本物のプロポ等、様々な入力デバイスに対応しています。
さらに、各種デバイスの対応は、JSONファイルで行われていましたので、
このFlex Controller向けの定義ファイルを新たに追加すれば対応できるだろう
という見込みが見えてきたのです（さすがです）。
🎮 はじめの一歩：視線で「スティック操作」を模すUI
こちらが、最初のチャレンジでした。
箱庭ドローンシミュレータ（図左上）では、ゲームパッドによる操縦が可能です（図下）。
特に、スロットルや姿勢角の操作には、両スティックが用いられます。
そこで、視線入力による操作UIも、このスティックの動きをイメージする形で構成してみました（図右上）。
ところが、このUIを使った初めての実験は、予想以上に難しかったのです。
たとえば、視線の位置が常に不安定で、入力値が激しく暴れる。
ほんの少し目線がズレただけで、操作不能に。首を動かすと、視線もブレる。
──そして何より、「目が疲れる」んです。
初回テストは、まさに四苦八苦でした。
でも、そんな中で――
視線で、箱庭ドローンが「動いた」瞬間。
「ちゃんと繋がった！」その実感は、とても大きな救いでした。
そしてふと、ALSを患いながら、視線だけでコードを書き続けていたAreさんの姿を思い出したそうです。
「本当に、彼はすごいことをやっていたんだな」
と、心の底からそう思われながら、トボトボと帰路につかれたそうです。
👥 墨田ラボでの第二実験と、中野さんとの出会い
前回の課題に向き合う日々の中で、岩井さんのオフィスが墨田区に移転されました。
そして、この新たな場所で、第2回目の実験を行うことになりました。
──そしてこのとき、
実際に万博で視線操作を担当してくれた、あの中野さんに、初めてお会いになられたそうです。
(万博会場で、箱庭ドローンを視線入力で操作してくださったあの中野さんです）
🆕 新しいユーザーインタフェースと、次なる壁
そして、こちらが――
牧野さんが新しく考案されたユーザーインターフェースです。
最初に用いたUIは、ジョイスティックを模したものでした。
しかし、試行錯誤の末にたどり着いたのが、コントローラの「十字キー」型UI。
視線での操作には、こちらのほうが格段に扱いやすいという発見があったのです。
「これは、きっといける！」という手応えとワクワクを胸に、
中野さんと岩井さんに、さっそくこの新UIを試していただきました。
そのときの様子が、こちらです。
(中野さんと岩井さんの真剣な表情が本当に素敵です)
──そして、ついに。
「前回よりも格段に良くなった！」
と、おふたりからうれしいお言葉をいただくことができました。
でも…この世界、ひとつの課題を超えると、次の課題が顔を出してくるのが常です。
🧩 見えてきた新たな課題たち
| 課題 | 内容 |
| 視線操作機器の接続が不安定 | 操作中に、突然視線入力が効かなくなってしまう |
| 東尋坊のシーン | 海の波に視線が引っ張られ、操作に集中しづらい |
| UIの重なり | 箱庭ドローンのUIと視線UIが重なり、操作が難しい |
| 飛行ルートが長距離 | 長距離の視線移動で目が疲れる。ルート設計の工夫が必要 |
| 起動手順 | 視線入力デバイスと箱庭ドローンの連携起動手順を整備する必要がある |
こうして、実際に「視線で操作する」体験を重ねることで、
これまで見えてこなかったリアルな課題が、次々と浮かび上がってきました。
UIの構成やシーン演出の調整で対処できる点もありますが、
最大の問題は──
操作中に突然、視線入力が効かなくなる
という根本的な不安定さでした。
これが、視線デバイス側の問題なのか？
それとも、箱庭ドローンシミュレータ側に起因するのか？
──切り分けが必要だ。
そんな中、JASA事務局の樋口さんにご相談したところ、
もう一式の視線入力機器をご用意いただけることに。
牧野さんは、それをお借りしながら、丁寧に検証を進めていくことになりました。
🧡 樋口さん、迅速なご対応、本当にありがとうございました！
さて──、
ここまで、 “さらっ” と牧野さんの動きを書き綴ってきましたが……
これ、実際にやるのは、相当に難しいことなんです。
視線入力の不調を、ハード・ソフトまるごと含めてデバッグするなんて、
そんな芸当は、誰にでもできるものじゃありません。
でも、牧野さんは ―― やってしまう。
ハードもソフトも分かる、真のフルスタック・エンジニア。
それが、牧野さんという人なんです。
次回は、そんな牧野さんの「エンジニアとしてのすごさ」に、もう少しフォーカスを当てながら
あの万博前夜のリハーサルへと向かっていきたいと思います。
どうぞ、お楽しみに！
コメントを残す