ExecuTorchでOpenAIのプライバシーフィルターモデルをオンデバイス実行する方法

ExecuTorchを使って、モバイル上でOpenAIのプライバシーフィルターモデルを動かす実験をしていました。もし同じような課題に取り組んでいる人の役に立つなら共有します。

セットアップ：
- ランタイム：ExecuTorch
- メモリ使用量：約600 MB RAM
- ブリッジ：react-native-executorch

このモデルは、メール、ドキュメント、チャットログ、貼り付けメモ、トランスクリプトなど、任意のテキストを扱い、それらすべてに対して敏感な内容をかなりうまくフラグ付けしてくれます。品質は思っていたよりも良好で、単なる些細なパターン照合だけでなく、実際にフラグを立てたい種類のPIIやセンシティブな情報をきちんと拾ってくれます。

プライバシーフィルタリングは、テキストがセンシティブかどうかを確認するためにクラウドAPIへテキストを送るというのが、ずっと少しばかり逆方向になっているタイプのタスクの一つです。これが最も有用な入力のクラス――下書き、社内ドキュメント、エクスポートしたチャット履歴、スキャン／OCRしたドキュメント――は、まさに人々がオフデバイスに送るのを最も躊躇するようなものです。ローカルで実行することで、プライバシー保証を実際の利用シナリオに合わせられます。