要旨: 未知の物体を認識することは、自動運転やロボティクスのような安全性が重要なアプリケーションにとって極めて重要です。オープンセット・パノプティックセグメンテーション(OPS)は、既知の「thing」および「stuff」クラスを分割しつつ、有効な未知物体を別個のインスタンスとして識別することを目指します。先行するOPSアプローチの多くは、既知カテゴリをフラットなラベル集合として扱い、未知物体を分布内クラスから区別するための有用な構造的事前知識を与える意味的階層を無視していました。本研究では、訓練中に未知を明示的にモデル化することを必要としない、OPSのためのエンドツーエンドフレームワークHyp2Formerを提案します。具体的には、双曲空間内で階層的意味類似性を連続的に学習します。既知カテゴリ間の階層的関係を明示的に符号化することで、モデルは複数のレベルの意味的抽象度を捉える構造化された埋め込み空間を学習します。その結果、既知カテゴリとして自信をもって分類できない未知物体であっても、より上位の概念(例:未知の動物は、「electronics」や「stuff」のような無関係な概念よりも「animal」や「object」により近い)に近い位置にとどまり得るため、微細なカテゴリが訓練中に表現されていなくても確実に検出できます。MS COCO、Cityscapes、Lost&Foundといった複数の公開データセットにまたがる実証的評価により、Hyp2FormerはOPSにおいて既存手法を上回り、未知物体の発見と分布内ロバスト性の最良のバランスを達成することが示されています。
Hyp2Former:階層を考慮した双曲線埋め込みによるオープンセット・パノプティックセグメンテーション
arXiv cs.RO / 2026/5/5
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- Hyp2Formerは、既知クラスをパノプティックにセグメントしつつ、未知の物体を別インスタンスとして検出するためのオープンセット・パノプティックセグメンテーション向けのエンドツーエンド手法です。
- 従来が既知カテゴリをフラットなラベル集合として扱っていたのに対し、Hyp2Formerは双曲線埋め込み空間で階層的類似性を学習することで、意味階層の情報を明示的に活用します。
- 学習時に未知を明示的にモデル化する必要がないにもかかわらず、未知物体は高レベル概念(例:未知の動物は「animal/object」に近い)との近さを保ち、学習に存在しなかった微細カテゴリでも検出できるようにします。
- MS COCO、Cityscapes、Lost&Foundなど複数の公開データセットで評価した結果、Hyp2Formerは既存手法を上回り、未知物体発見とイン分布頑健性のバランスを改善しています。




