箱庭技術で加速するリアルとバーチャルの融合世界！

2024年9月20日

hakoniwa

ここ最近、イベントや学会発表で忙しくしていましたので、ブログ発信が滞っておりました…。が、そんな中でも箱庭技術の発展はますます加速しておりまして、今回は、箱庭技術の最前線をお伝えしたいと思います。

広がる箱庭ドローンの可能性

今、箱庭ラボが全力で取り組んでいるものは、ズバリ、「箱庭ドローンシミュレータの可能性を広げていくこと！」です。

箱庭ドローンシミュレータは、JASAドローンWGとタッグを組んで、2023年10月から開発を開始しましたが、現在、その可能性がドンドン広がっています。様々な企業・団体・教育機関から箱庭ドローンシミュレータを利用したいと要望を頂いており、例えば、モデリング教育でのシミュレーションの活用や、実際の商業プロジェクトでの利用が進行中です。

箱庭ドローンシミュレータは、単なるドローンシミュレーションの枠を超え、新たな可能性を切り開いています。その独自性こそ、箱庭技術のオリジナリティがあればこそなのですが、今回はデジタルツイン技術を使った箱庭ドローンの最新の取り組みをご紹介します。

デジタルツインでリアルと仮想がつながる！

箱庭ドローンシミュレータの可能性を広げていく活動の１つに、「デジタルツイン」があります。デジタルツインとは、「現実空間の物体や環境から収集したデータを使い、仮想空間上に全く同じ環境をあたかも双子のように再現するテクノロジーです」。

ただ、デジタルツイン環境を構築することは容易なことではありません。ですが、箱庭ラボおよび箱庭WGではその課題を解決するために新しいアプローチを模索しており、その結果、仮想と現実をシームレスに繋げる箱庭の新しい技術を開発できました！

箱庭ブリッジ

まず、箱庭WGメンバーと一緒に議論して、デジタルツインに求められる要件を、以下のようにまとめました。

データ交換の互換性の確保
- 異なるプロトコルや通信方式でも透過的にデータを授受し、現実と仮想のデータ交換の標準化
多様な開発環境への対応
- 開発者にとって使いやすいプログラミング言語が選択でき、異なるネットワーク環境でも安定通信が可能
通信のリアルタイム性の確保
- アセットの要求応答時間を確保し、設定した時間内に必ず応答する通信方式
システムの拡張性の確保
- 機能追加や変更が容易で、アセットの数に影響されない安定した拡張性
システム導入の容易化
- 箱庭の通信機能を使うシステムのセットアップが簡易で、導入コストが低いこと

そして、こういった要件を実現する技術として、箱庭技術とZenohという通信技術を積極的に活用して、「箱庭ブリッジ」という新機能を開発しました。なお、箱庭ブリッジについては、「リアルとバーチャルの架け橋、箱庭ブリッジとは？」でご紹介しておりますので、ぜひご覧ください。

箱庭ブリッジによる要件実現の内訳は以下の通りです。

データ交換の互換性の確保
- MMAPやUDPに加えて、Zenohプラグインとの相互運用も実現(成長著しいZenohの展開に大きな期待が持てる)
- Zenoh対応のために拡張したRosProxyにより、特にROS 2対応のロボットとの親和性が向上
多様な開発環境への対応
- Zenoh および箱庭は多くのプログラミング言語に対応している
- 多種のネットワーク環境についても Zenoh ルータの機能によって対応可能
- 異種ネットワーク空間の NAT 越えや 5G 通信網環境下でも安定して動作できる
通信のリアルタイム性の確保
- Zenoh の特徴である低遅延かつ高効率なデータ転送が通信のリアルタイム性に貢献できる
システムの拡張性の確保
- Zenoh および箱庭 PDU は、拡張性の高い設計がなされている
- 新機能の追加や既存機能の変更が容易に行える
システム導入の容易化
- インストールとセットアップの方法を簡略化するためのドキュメントやスクリプトを整備している

箱庭ブリッジは、オープンソースで公開しています！
https://github.com/toppers/hakoniwa-bridge

リアルとバーチャルを融合した先にある世界

デジタルツインの通信面を支える技術として、箱庭ブリッジを今後利用を推進していく予定ですが、以前のブログ「リアルとバーチャルの架け橋、箱庭ブリッジとは？」にて、近未来のシチュエーションを紹介させていただきました。

箱庭ドローンシミュレータで実現されたバーチャル領域とROSベースのリアル領域が、Fusion領域でデジタルツイン化され、ドローンとロボットの相互運用や交通制御の新サービスが可能になることを示すデモです。

このデモが、ROSCon JP 2024での展示を目前にして、ようやく完成しましたので、その一端をお見せします。

箱庭ドローンとリアルロボットの統合デモ

まず、リアル空間では、ロボットとしてTurtleBot3を用意しました。ROSで制御しています。また、TurtleBot3は、北陽電機さんのLiDAR（URG-04LX-UG01）で監視しており、位置推定制御プログラムでロボットの位置をROSトピック化し、箱庭ブリッジでバーチャル空間に通知しています。

バーチャル空間では、MacBook Proで箱庭ドローンシミュレータが動作します。箱庭は、箱庭ブリッジからTurtleBot3の位置情報を受け取り、バーチャルロボットとしてツインとなるTurtleBot3を再現します。そして、箱庭ドローンは、PS4コントローラを使って荷物搬送操作を行います。

そして、この操作は、Virtul & Real の Fusion 領域で行います。QUEST3の登場です！QUEST3を装着して、パススルーモードでリアル空間を覗き込むと、そこには現実空間には存在しないはずのドローンおよび荷物が見えるのです。さらに、TurtleBot3の頭の上には荷物搬送用のボックスが現れています！そして、PS4コントローラでドローンを操作して、荷物をTurtleBot3に置くと、バーチャル空間のタッチセンサが反応して、リアル空間のTurtleBot3が動き出します。