LiDAR点群を用いた3D人体ポーズ推定のための人間-物体相互作用学習

要旨: LiDAR点群から人間を理解することは、自動運転における歩行者の安全性と密接に関連しているため、最も重要な課題のひとつですが、多様な人間-物体相互作用や雑然とした背景が存在する状況では依然として難しいです。とはいえ、既存の手法は、強固な3D人体姿勢推定フレームワークを構築するために人間-物体相互作用を活用する可能性を見落としていることが多いです。人間-物体相互作用を導入する動機となる二つの主要な課題があります。第一に、人間-物体相互作用は人間点と物体点の間に空間的な曖昧さを導入し、相互作用領域で誤った3D人体のキーポイント推定を招くことが多いです。第二に、相互作用部位と非相互作用部位の点の数には深刻なクラス不均衡が存在し、手や足といった相互作用の頻繁な領域はLiDARデータで観測が希薄です。これらの課題に対処するため、LiDAR点群からの頑健な3D人体姿勢推定のためのヒューマン-物体相互作用学習（HOIL）フレームワークを提案します。空間的曖昧さの問題を緩和するため、人間-物体相互作用認識型コントラスト学習（HOICL）を提示します。これは相互作用領域で特に有効に機能し、人間点と物体点の特徴判別力を効果的に向上させます。クラス不均衡の問題を緩和するため、接触認識型部位ガイドプーリング（CPPool）を導入します。これは相互作用する部位から有益な点を保持しつつ、過剰に表現されている点を圧縮して、表現力を適応的に再配分します。さらに、接触手がかりを時間軸にわたって用いて、フレームごとの誤ったキーポイント推定を補正する任意の接触ベースの時系列補正を導入します。結果として、HOILは人間-物体相互作用を効果的に活用して、相互作用領域における空間的曖昧さとクラス不均衡を解消します。コードは公開される予定です。