機械学習パイプラインのニューラルネットワークへの変換

要旨: 転移学習と知識蒸留は、近年ディープラーニング分野で大きな注目を集めています。転移の一つのアプローチである学生-教師学習は、より大きく、より複雑な「教師」ネットワークの性能を模倣する「小さな」学生ニューラルネットワークを、うまく作り出せることが示されています。本論文では、このアプローチの拡張と、教師を非ニューラルベースの機械学習パイプラインからニューラルネットワーク（NN）学生へと転移することを検討し、それにより、さまざまなパイプライン構成要素を共同で最適化し、複数のMLタスクに対して単一の統一推論エンジンを実現できるようにします。具体的には、ランダムフォレスト分類器を、転移学習によって学生NNへ置き換えることを探ります。ランダムフォレストが最良の解の一つであった100のOpenMLタスクに対して、さまざまなNNトポロジを用いて実験を行いました。その結果、適切なNNのハイパーパラメータを選択できるなら、ほとんどのタスクにおいて学生NNが教師を確かに模倣できることが分かりました。また、適切なNNのハイパーパラメータを選択するためにランダムフォレストを用いることも調査しました。