ライトニングトーク

実は、2019年9月25日(水)に開催されたROSCon JP 2019に、高瀬先生が箱庭のライトニングトークをされていました。

当時は、箱庭は出来立てのホヤホヤで、「箱庭？なんじゃそりゃ？」だったと思います。あれから５年経ち、今度は、私が箱庭の紹介をしてきました。とても感慨深いです。

2019年のライトニングトークのキャッチフレーズは、「マイコンシミュレータAthrillと mROS が合体すると何ができるか？箱庭ができます！」

そして、2023年のキャッチフレーズは、「箱庭と mROS2 が合体すると何ができるか？リアルとバーチャルの融合体験ができます！」

そのアーキテクチャ構想は下図のものです。

バーチャルな世界である箱庭では、マイコンシミュレータAthrillが動きます。QEMUも同様に動く設計にしています。また、物理シミュレータは、GAZEBO、Unity、Unreal Engineも動くことができる設計です。さらに、開発マシンのOSは、Ubuntu、Mac（Intel / AppleSilicon）、Windowsを利用できます。

そして、リアルな世界は、mROS 2 がサポートする組込み機器（ESP32/Mbed/STM32 NUCLEO-F767ZI）が ROS で繋がります。ROSで繋がれば、様々なロボットとの連携も可能になります。

その仕組みは下図のとおりです。箱庭のデモ展示で利用しているところを赤枠で括っています。

ちなみに、箱庭知っている人に挙手してもらったところ、半分弱くらいの方が挙手されていたので、この５年で箱庭が広がってきたなーっと実感しました。

箱庭デモ展示

今回、TOPPERS枠で箱庭のデモ展示をさせて頂きました。

今回のデモでは、株式会社アールティ様のロボット Pi:Co Classic3 を箱庭のUnity上で再現しました。

デモ内容は以下のとおりです。

少し説明します。まず、画面構成は以下のとおりで、リアルとバーチャルな世界を同時に鑑賞できるようにしています。

• 画面左上：箱庭のUnity画面です。
• 画面中央：iphoneアプリ画面です。左にリアルな実機があり、その右に箱庭上に存在するバーチャルなロボットがあります。
• 画面右上：リアルな世界で実機を撮影した画面です。ここではバーチャルなロボットは見えません。
• 画面左下：ロボット操作アプリです。ROS2ノードで、キー操作でロボットを移動させることができます。
• 画面右下：mROS 2 および箱庭コア機能などを起動する端末画面です。M2Mac上で動作しています。

ロボット操作アプリは ROS 2 トピックで、実機とバーチャルのロボット両方に対してコマンド発行しています。

リアルな世界だけで見ると、実機のロボットが動くだけです。

バーチャルな世界（Unity）だけで見ると、バーチャルのロボットが動くだけです。

そして、iPhoneのARで見ると、リアルとバーチャルのロボットが並行して動いている様子見えるというわけです。また、バーチャルな世界の方に青い円柱が見えますが、これは iPhoneと連動しており、iPhoneを傾けたり移動させたりすると、バーチャルな世界でも動きます。

その様子を撮ったものが下図のものです。画面左が iPhone で画面右がバーチャル（Unity）です。

バーチャル世界では、iPhoneとロボットが干渉することができますので、iPhone 使ってロボットとぶつかることができます！（結構楽しいです）

最後に

今回のデモで使用しておりますソースコードは全て以下で一般公開しておりますので、是非、お試しください！

• hakoniwa-unity-picomodel
• hakoniwa-mros2sim