HAPEns: 表形式データ向けのハードウェアを意識したポストホックアンサンブリング

要旨:
- アンサンブリングは表形式データの機械学習で予測性能と頑健性を高めるために一般的に用いられるが、より大きなアンサンブルはしばしハードウェア需要を増大させる。
- 私たちは、精度とハードウェア効率の間のバランスを明示的に取るポストホックアンサンブリング手法であるHAPEnsを導入する。
- 多目的最適化と品質多様性最適化に触発され、HAPEnsは予測性能とリソース使用のパレートフロントに沿って多様なアンサンブルを構築する。
- 既存のハードウェアを意識したポストホックアンサンブリングのベースラインは利用できず、我々のアプローチの新規性を浮き彫りにしている。
- 83の表形式分類データセットでの実験により、HAPEnsはベースラインを有意に上回り、アンサンブル性能とデプロイコストの優れたトレードオフを見出している。
- アブレーション研究は、メモリ使用量が特に有効な目的指標であることを示している。
- さらに、本手法は静的な多目的重み付けスキームを用いる貪欲アンサンブリングのアルゴリズムさえ、このタスクで有意に改善できることを示している。