並列文書のスマートなバイリンガル集中クロール

Abstract

互いに相互翻訳となっている平行テキスト（parallel texts）をインターネットからクロールすることは、通常はブルートフォース（総当たり）によるアプローチで行われます。すなわち、案内のないプロセスのもとで文書が大量にダウンロードされ、そのうち実際に平行コンテンツへ到達するのはわずかな割合にとどまります。本研究では、平行コンテンツをより迅速に見つける方向へクロールを導く、賢いクロール手法を提案します。私たちはニューラルアプローチに従います。これは、Transformerアーキテクチャのエンコーダ部分に基づき、事前学習済みの多言語言語モデルを適応させるもので、さらに微調整して2つの新しいタスクに対応させます。1つ目は、文書のUniform Resource Locator（URL）からその言語を推定すること、2つ目は、2つのURLが平行する文書へリンクしているかどうかを推定することです。両モデルをそれぞれ単独で評価し、さらにそれらをクロール用ツールへ統合した場合も評価します。その結果、両モデル単独でそれぞれ有効であることが示され、さらに両者を組み合わせることで、実際のエンジニアリング課題に対処できることが明らかになりました。すなわち、特定の言語ペアにおけるWebクロール中に、平行コンテンツを早期に発見するという課題です。これにより、無用とみなされるダウンロード文書の量が削減され、従来のクロール手法と比べてより多くの平行文書が得られます。