開発者から学ぶ：Linuxにおける大規模で信頼性の高いパッチ検証へ

概要: パッチレビューはソフトウェア開発において重要であり、特にLinuxのような自発的な作業に大きく依存する分散型のオープンソース開発ではその重要性が高い。本論文は、スケールにおけるパッチレビューに内在する課題を特徴づけるために、Linuxのメモリ管理サブシステムに関する過去10年間のパッチレビューを調査する。我々の調査では、幅広い自動検査ツールが存在するにもかかわらず、レビュー工程は依然として主として人手に依存していることが明らかになった。カーネル開発者はすべてのパッチ提案をレビューしようと努めているが、投稿数の増加に追いつくことが難しく、これらのレビューを行う際に少数の開発者に大きく依存している。
パッチレビュー工程をスケールさせるために、我々はFLINTというパッチ検証システムのフレームワークを導入する。FLINTは、開発者間の過去の議論から得られた知見を統合し、パッチ提案の適合性を自動的に分析する。FLINTは、開発者間の過去の議論に基づくルールベースの分析と、新しいデータに対する学習やファインチューニングを必要としないLLMを用い、最小限の人手で継続的に改善できる。FLINTは、過去の議論から必要不可欠な情報を効率的に抽出するために多段階のアプローチを採用する。後段でパッチ提案のレビューが必要になった際、FLINTは検証に関連する検証ルールを取得して検証を行い、開発者が容易に解釈・検証できる、参照に裏付けられたレポートを生成する。FLINTは、従来のツールでは検出しにくい不具合を対象とし、設計上の意思決定や命名規則といった保守性の問題から、デッドロックやデータ競合といった複雑な並行性の問題までを扱う。FLINTはLinux v6.18の開発サイクルで2件の新しい問題を検出し、過去のバージョンでは7件の問題を検出した。FLINTは、並行性の不具合に関して、LLMのみのベースラインよりも高いグラウンドトゥルースのカバレッジで21%および14%を達成する。さらに、FLINTはベースラインより低い35%の偽陽性率を達成する。