パート1：仮想ノードとシングルカメラ戦略 — シミュレーション遅延の克服
高齢者ケア向けの屋内知覚システムを構築する際の標準的な直感は、日々のルーティンを監視するために複数のライブカメラを設置することです。NVIDIA Isaac Sim を使った開発初期段階では、この方針に従い、深度画像やポイントクラウドのような高帯域センサーデータをいろいろ試しました。
問題：マルチカメラレンダリングが招くパフォーマンスの罠
しかし、私たちはすぐに致命的な性能の壁に突き当たりました。どのシミュレーションエンジン（Unity や Isaac Sim）でも、複数のアクティブカメラからのデータを同時にレンダリングしてパブリッシュすることは、性能災害のレシピです。大量の GPU メモリ（VRAM）を消費し、大きな遅延（ラグ）を生みます。
テストでは、画像が AI パイプラインに入るまでに、受け入れがたいほど長い時間キューに溜まることがありました。リアルタイムなインタラクションを目指す高齢者ケアシステムにとって、このラグによって、その後の VLM 推論や意図予測プロトコルが成立しなくなりました。
実用性を優先し、Robotics VLM とセマンティック研究に集中するため、戦略的な意思決定を行いました。ROS 2 のオーバーヘッドを回避し、Event-Triggered RGB Transmission（イベント駆動型 RGB 伝送）に基づく、独自で軽量な Unity から Python へのパイプラインへ移行したのです。
解決策：12ノードの仮想ネットワーク
私たちのアーキテクチャは、空間メタデータ（「ユーザーをどこから見られるか？」）と レンダリングのオーバーヘッド（「実際にピクセルをいつ描くのか？」）を意図的に分離することに基づいています。
シミュレーションされた住居内に 12 個の Virtual Camera Node（仮想カメラノード）のネットワークを配置しました。アクティブなカメラの代わりに、これらは軽量な「Empty Objects（空のオブジェクト）」であり、観測地点としての役割を持ちます。
図1：12 個の仮想ノードを用いた実験用テストベッド。各部屋（Kitchen、Living Room、Dad's Room）にはそれぞれ 4 つの特定の視点が用意されています。
図 1 に示すとおり、これら 12 ノードはアイドル状態ではレンダリングコストがゼロです。Unity では単に Transform コンポーネント（座標と前方ベクトル）に過ぎません。これにより、いつでも 12 種類の視点を利用できつつ、高いシミュレーションのフレームレート（FPS）を維持できます。
技術的比較：なぜこれが「妥当」なのか
以下の表は、「総当たりレンダリング」から「スマートオーケストレーション」への変遷を示します：
| 機能 | レガシー戦略（Isaac Sim の経験） | 最適化戦略（現在の Unity アーキテクチャ） |
|---|---|---|
| カメラ設定 | 複数のアクティブな実カメラ | シングルの実カメラ + 12 個の仮想ノード |
| レンダリング | 継続的な並列レンダリング | イベント駆動の「Teleport & Capture」（テレポートして撮影） |
| GPU 負荷 | 高い VRAM と Draw Calls | ノードの待機時コストはゼロ |
| レイテンシ | 長い画像キュー（ラグ） | リアルタイム同期（安定した 60 FPS） |
| データ種別 | 深度 & ポイントクラウド（重い） | 合理化された RGB（VLM 最適化） |
| プロトコル | ROS 2 ミドルウェア | 独自の高速 REST API |
メカニズム：「スマートアイ」テレポーテーション
次に、シングルレンダリングカメラ—私たちの「スマートアイ」を採用します。ロジックは、総当たり的なレンダリングではなくオーケストレーションです。
システムが大きな状態変化（例：「Standing」から「Drinking」への遷移）を検出すると、上位の「脳」が呼び出されます。しかし 12 の同時ストリームを処理するのではなく、Teleport-and-Capture（テレポートして撮影）戦略を使います：
- イベントトリガ：システムが
UserEntityから意味のあるアクションを検出します。 - 最適ノード選択：推定スコアリングのアルゴリズムが、現在の部屋にある 4 つのノードを分析し、距離と遮蔽（オクルージョン）を考慮して最適な角度を見つけます。
- 即時キャプチャ：単一の物理カメラが選択された最適ノードへ「テレポート」し、フレームを撮影して Python のバックエンドへ送信します。
この設計は、単にシミュレーションのラグ対策をしただけではありません。現実世界の制約を、実用的に反映したものです。実際のスマートホームでは、12 台のカメラから 24 時間 365 日、高解像度の動画をストリーミングすると、ほとんどの家庭用ネットワークが圧倒されてしまいます。イベントが起きたときにのみリソースを割り当てるスマート監視システムの挙動を模倣することで、私たちは最大限のデータ整合性とシステム信頼性を確保します。
次は？
ノードは 12 個ありますが、ロボットは「どれが一番良い見え方を提供するか」をどうやって知るのでしょうか？
次回の投稿では、StaticCameraManager の C# 実装を深掘りし、Occlusion（遮蔽）、Angle（角度）、Distance（距離）を扱う推定スコアリングアルゴリズムを分解していきます。
お楽しみに！
