表形式データの自動特徴量生成のためのメモリ拡張型LLMベース・マルチエージェントシステム

要旨: 自動特徴生成は、手作業なしで、生の表形式データから有益な特徴を抽出し、正確で汎用可能な機械学習にとって重要である。従来の手法は事前に定義された演算子ライブラリに依存しており、タスクのセマンティクスを活用できないため、複雑なタスクに対して多様で高価値な特徴を生成する能力が制限される。近年の大規模言語モデル（LLM）に基づくアプローチは、より豊かな意味信号を導入するが、それでも固定された生成パターンにより特徴空間が限定されるという問題と、学習目的からのフィードバックが欠如しているという問題に悩まされる。これらの課題に対処するため、我々は自動特徴生成のための、メモリ拡張型LLMベースのマルチエージェントシステム（\textbf{MALMAS}）を提案する。MALMASは生成プロセスを、それぞれ異なる責務を持つエージェントへと分解し、ルータエージェントが反復ごとに適切なエージェントの部分集合を起動することで、特徴空間の探索範囲をさらに広げる。さらに、手続きメモリ、フィードバックメモリ、概念メモリからなるメモリモジュールを統合し、反復的な洗練を可能にする。これにより、その後の特徴生成が適応的に導かされ、特徴の品質と多様性が向上する。複数の公開データセットに対して、最先端のベースラインと比較した大規模な実験により、本手法の有効性が示される。コードは https://github.com/fxdong24/MALMAS で公開されている