Text-as-Signal：埋め込み、対数確率（logprobs）、およびノイズ低減による定量的セマンティック・スコアリング

要旨: 本論文は、テキスト・コーパスを定量的な意味シグナルへ変換するための実用的なパイプラインを提示する。各ニュース項目は、設定可能な位置辞書に対する対数尤度（logprob）ベースの評価によってスコアリングされ、さらに構造的な解釈のためにノイズを低減した低次元マニフォールドへ射影されることで、全文埋め込みとして表現される。本ケーススタディでは、辞書を6つの意味次元として具体化し、人工知能に関するポルトガルのニュース記事11,922本から成るコーパスに適用する。得られたアイデンティティ空間は、文書レベルでの意味的位置づけと、集約されたプロファイルによるコーパスレベルでの特徴づけの両方を支える。本研究では、Qwen埋め込み、UMAP、モデル出力空間から直接導出される意味指標、そして3段階の異常検出手順が組み合わさることで、コーパス検査、モニタリング、下流の分析支援といったAIエンジニアリング課題のための、運用可能な「テキストをシグナルとして扱う」ワークフローが構築されることを示す。アイデンティティ層は設定可能であるため、普遍的なスキーマに固定することなく、異なる分析ストリームの要件に合わせて同じ枠組みを適応させることができる。