[D] 医療MLモデルの安全性と信頼性を監査するツール

医療分野の顕微鏡データセットにおけるMLベースの構造検出と分類の最終年度プロジェクトに取り組んでいる際、私は多くのMLシステムが直面するだろうと思われる問題に出くわしました：実際にモデルの意思決定をどう監査すればよいのでしょうか？

これを探るために、モデルが特定の意思決定を下す条件を記録し、再現する小さなプラットフォームを作成しました。

例えば、顕微鏡データの局在化された構造のクラスターが私が静的のままであると予想しているときに分類や形態を突然変化させる場合、このシステムは私に以下を追跡させます：

- その決定につながった正確な条件

- 発生した時刻

- それを生み出したモデルの状態と入力

目的は、MLシステムをより監査可能で透明性の高いものにすることです。特に医療の分野のように、研究者がブラックボックスとしてモデルを信頼する必要がないようにすることです。

ここで他の人が、科学的または医療的文脈でのMLパイプラインの監査やリプレイシステムに取り組んだ経歴があるかどうか気になります。

どのようにアプローチしましたか？

リポジトリ（実装を見たい人がいれば）：

https://github.com/fikayoAy/ifayAuditDashHealth

このようなシステムをどのように改善できるかについての質問に答えたり、アイデアを聞くことを嬉しく思います。