相互主義的ニューラル・アクティブラーニングによる人間×機械のブースト型バグ報告の識別

概要: バグ報告は、多様なバグタイプを含み、ソフトウェアの品質を維持するうえで極めて重要です。しかし、バグ報告の複雑化と件数の増大は、解決のために適切なチームへ割り当て、かつ一人の担当者が手動で識別することに大きな課題をもたらします。全ての報告を扱うには時間とリソースがかかりすぎるためです。本論文では、人間と機械の協調によって強化されたGitHubリポジトリからのバグ報告を、自動化かつより効果的に識別するためのクロスプロジェクト・フレームワーク Mutualistic Neural Active Learning（MNAL）を提案します。MNALは、異なるプロジェクト間で報告を学習し汎化するニューラル言語モデルを活用し、さらに能動学習を組み合わせてニューラル能動学習を形成します。MNALの特徴は、学習した知識を拡充する際に、機械学習者（ニューラル言語モデル）と人間のラベル付け者（開発者）の間で意図的に設計された相利共生的な関係を持つ点にあります。すなわち、最も情報量の多い人間がラベル付けした報告と、その対応する疑似ラベル付きの報告を用いてモデルを更新し、一方で開発者によるラベル付けが必要な報告は、より読みやすく、識別しやすいものにすることで、そこにおける人間と機械の協働を強化します。大規模データセットを用いてMNALを評価し、SOTA手法、ベースライン、ならびにさまざまなバリアントと比較します。その結果、MNALは、人間のラベル付け中の読みやすさと識別可能性に関して、それぞれ最大95.8%および196.0%の工数削減を達成しつつ、バグ報告の識別においてより良い性能をもたらすことが示されました。さらに、MNALはモデルに依存しない（model-agnostic）形であり、さまざまな基盤となるニューラル言語モデルによってモデル性能を向上させることができます。提案手法の有効性をより一層検証するために、10名の人間参加者を対象とした定性的なケーススタディも実施し、その結果、MNALはより効果的であり、より多くの時間と金銭的リソースを節約できると評価されました。