InterventionLens: 親子の共有読書における自閉スペクトラム症介入戦略を検出するマルチエージェントフレームワーク

概要: 自宅ベースの介入、例えば親子の共同読書は、自閉スペクトラム症（ASD）の子どもを支援するコスト効果の高いアプローチを提供します。しかし、自然な家庭内の相互作用における介護者の介入戦略を分析するには、通常専門家の注釈に依存します。これはコストが高く、時間を要し、規模の拡大が難しいです。 この課題に対処するため、私たちは InterventionLens を提案します。これは、共同読書ビデオから介護者の介入戦略を自動的に検出し、時間的にセグメント化するエンドツーエンドのマルチエージェントシステムです。 タスク特化のモデル訓練やファインチューニングを必要とせず、InterventionLens は協調的なマルチエージェントアーキテクチャを用いて、マルチモーダルな相互作用コンテンツを統合し、細かな戦略分析を実行します。 ASD-HI データセット上の実験は、InterventionLens が総合 F1 スコア 79.44% を達成し、ベースラインを 19.72% 上回ることを示しています。 これらの結果は、家庭ベースの ASD 共有読書環境における介護者介入戦略を分析する有望なシステムであることを示唆しています。 追加リソースはプロジェクトページで公開される予定です。）