AbjadMed における GATech: 双方向エンコーダ対因果デコーダ—82クラスのアラビア語医療分類からの洞察

要旨：本論文は、82の異なるカテゴリにわたるアラビア語医療テキスト分類のシステム記述を提示します。主なアーキテクチャは、ハイブリッドプーリング戦略を組み合わせた調整済み AraBERTv2 エンコーダと、頑健な正則化のためのマルチサンプルドロップアウトを活用します。私たちは、このアプローチを、多言語・アラビア語特化のエンコーダ群、およびいくつかの大規模な因果デコーダと系統的にベンチマークしました。これには Llama 3.3 70B のゼロショットリランキングや Qwen 3B の隠れ状態からの特徴抽出が含まれます。私たちの発見は、専門化された双方向エンコーダが、細粒度の医療テキスト分類に必要な厳密な意味境界を捉える点で、因果デコーダを大幅に上回ることを示しています。因果デコーダは、次のトークン予測に最適化されているため、シーケンスバイアスを持つ埋め込みを生成し、双方向のアテンションが捉えるグローバルな文脈と比較して、分類には効果が低いことを示しています。トレーニングデータには顕著なクラス不均衡とラベルノイズが認められるにもかかわらず、微調整済みエンコーダの専門的なアラビア語NLPタスクにおける意味情報の圧縮の優位性を強調しています。テストセットの最終パフォーマンス指標には、Accuracy と Macro-F1 が含まれ、報告・検討されています。