リアルとバーチャルの架け橋、箱庭ブリッジとは？

2024年6月13日

hakoniwa

今回は、TOPPERS/箱庭の新技術である「箱庭ブリッジ」の紹介をしたいと思います。

リアルとバーチャルを融合した先にある世界

まず、この絵を見てください。箱庭のデモとして絶賛開発中の近未来のシチュエーションです。

左側のVirtual領域は、箱庭ドローンシミュレータで実現されたシミュレーション空間です。この空間では、安全にドローンの飛行テストを試すことができます。右側のReal領域は、現実世界にあるROSベースのロボットシステムであり、荷物運搬するロボットを想定しています。そして、中央にあるFusion領域は、リアルとバーチャルが融合した領域であり、箱庭のデジタルツイン化によってリアルとバーチャル空間のデータが統合され、新しいサービスやテストが実現されるシチュエーションを示しています。

Fusion領域の左側では、バーチャルドローンが荷物を運搬しリアルのロボットに渡そうとしています。このプロセスでは、Unity上で構築されたバーチャル空間のドローンとリアル空間のロボットがデジタルツイン環境として位置情報が同期しています。また、リアルなロボットはバーチャル空間上で再現され仮想ロボットとして存在しています。そして、バーチャルロボットに装備されたセンサーは、リアルロボットにも情報をフィードバックすることで、バーチャル空間でのドローンのイベントがリアルロボットにフィードバックされ、実際の荷物運搬をトリガーすることができます。これにより、既存のロボットシステムのデジタルツイン化が可能となるだけでなく、バーチャルドローンとの相互運用テストも可能となっているのです！

Fusion領域の右側では、バーチャル空間にしか存在しない信号が見えます。この信号は、ARデバイスを利用することで、人間が信号を認識できるため、コストが高い本物の信号を使わずとも、バーチャルデータで人およびロボットを含めた交通制御ができる良い例と言えます。箱庭を利用することでデジタルツイン化を加速し、新しいサービスの形を容易に試すことができるようになるのです！

なお、このデモは、ROSCon JP 2024 のTOPPERSブースにてデモ展示予定です。

デジタルツインを実現する上での課題

ここで、既存のROSシステムをデジタルツイン化する場合、マルチキャストを前提としたDDS通信では5Gルータを超えることは基本的に難しいと考えています。一方で、Zenohの通信基盤を利用すると、ROS通信データをブリッジして5Gルータを超えることが容易に実現できます。

箱庭ブリッジとは？

箱庭ブリッジは、ROSおよびZenohを組み合わせることで、箱庭と既存のROSシステムをシームレスに統合します。既存のROSシステムに箱庭ブリッジを設置するだけで箱庭と連携させることができますから、デジタルツイン化を容易に実現できるようになるわけです。当然、Zenohの特徴として、データの低遅延かつ高効率な転送が可能となりますので、遠隔地からのリアルタイム通信を実現できるというわけです。

箱庭ブリッジは、リアル空間とバーチャル空間の境界を超えたシミュレーションおよびサービスを実現するための画期的な新機能なのです！

箱庭ブリッジのアーキテクチャ

箱庭ブリッジは以下の機能を提供します。

バーチャル側のデータをエッジ側に配信できます
エッジ側のデータをバーチャル側で購読できます

箱庭ブリッジの通信は、Zenoh をベースに構築されており、以下の２機能で構成されています。

ShmProxy
RosProxy

– ShmProxy(SharedMemoryProxy)：バーチャル側に配置されており、箱庭PDUデータをZenoh通信データに変換し、データ転送します。

– RosProxy：エッジ側に配置されており、ROS通信データをZenoh通信データに変換して双方を接続する役割を担います。なお、エッジ側でZenohを組み込んでいる場合は、箱庭PDUデータにそのままアクセスできます。

Zenoh を採用している理由：

通信方式として UDP/TCP/ROS/MQTTなど、さまざまなバリエーションを選択できる
さまざまなプログラミング言語のサポート（C言語、Python、Rustなど）
異なるネットワークを超えるこができる（5Gルータ越しのROS通信も可能）
低遅延通信であり、リアルタイム性が求められる用途に適している

論よりRUN!!

箱庭ブリッジを利用した近未来のデジタルツインのデモ環境はまだ完成していませんが、少しずつパーツが揃ってきました。現時点でのデモの一端をお見せします。

2D LiDARのシミュレーション環境

デジタルツイン・デモ開発にあたり、2D LiDARを利用してロボットの位置推定が必要となりますが、実機をベースにした開発ですと汗だくになります。そこで、箱庭ブリッジを活用して、2D LiDARシミュレーション環境を独自開発しました。

この環境があれば、Unity上に仮想2D LiDARと実験フィールドを作成し、LiDARでのロボット位置推定アプリの開発ができるというわけです。アーキテクチャはこんな感じで、MacOS内に実験フィールドを作成し、箱庭ブリッジでUbuntu上にあるRvizでセンシングデータをビジュアライズさせています。

まさに最終デモに向けた職人用の開発環境といえますよね。

デモ動画：

最後に

今回お見せしたものはデジタルツイン・デモ開発中に作成したほんの一端です。他にももっと面白いものがありますが、別のブログでお話しします。お楽しみに！