強化学習でエキスパート級の配置を実現するには？

Abstract

チップ配置は物理設計における重要なステップです。強化学習（RL）ベースの手法は近年登場したものの、その訓練は主としてワイヤ長の最適化に焦点が当てられているため、しばしば専門家品質のレイアウトを達成できません。私たちは、専門家との性能ギャップの主因が報酬設計にあることを特定し、複雑なプロセスを形式化するのではなく、専門家レイアウトから直接学習して報酬モデルを導出することでこれを回避します。提案手法は、最終の専門家レイアウトから出発して、段階的な専門家の軌跡を推定します。これらの軌跡をデモンストレーションまたは選好として用いることで、専門家の結果に潜む暗黙の報酬を捉えるモデルを訓練します。実験により、私たちの枠組みは単一の設計からでも効率的に学習でき、未見のケースにも良好に一般化できることが示されます。