統計意味論

言語学において、統計意味論（とうけいいみろん、）は、統計学の手法を語や句の意味を決定する問題に適用する分野である。理想的には教師なし学習を通じて、少なくとも情報検索の目的に足る精度で意味を明らかにすることを目指す。

歴史「統計意味論」という用語は、機械翻訳に関するよく知られた論文の中でウォーレン・ウィーバーが初めて使用した。彼は、機械翻訳における語義の曖昧性解消は、対象語の近傍に出現する文脈語の共起頻度に基づくべきだと主張した。「語はその仲間によって特徴づけられる」という根底にある仮定は、J・R・ファースによって提唱された。この仮定は言語学において分布仮説として知られている。エミール・デラヴネーは統計意味論を「語の意味とその出現頻度・順序の統計的研究」と定義した。「Furnas et al. 1983」は統計意味論の基礎的貢献として頻繁に引用される。この分野における初期の成功例が潜在意味解析である。

応用統計意味論の研究により、分布仮説を利用して意味論の多くの側面を発見するアルゴリズムが多種多様に生まれた。これらは大規模コーパスに統計的手法を適用するものである。語義の類似性の測定語の関係における類似性の測定類似性に基づく汎化のモデル化特定の関係を持つ語の発見語間の関係の分類文書からのキーワード抽出テキストの結束性の測定語の異なる語義の発見語の異なる語義の識別語の認知閾下（subcognitive）の側面賞賛と批判の識別

関連分野統計意味論は、文書全体・文書集合・固有表現（人名・地名・組織名）に注目する傾向があるテキストマイニングとは異なり、一般的な語の意味や語の間の関係に焦点を当てる。統計意味論は計算意味論のサブフィールドであり、計算意味論はさらに計算言語学および自然言語処理のサブフィールドである。

統計意味論の応用の多く（上記一覧）は、コーパスベースのアルゴリズムの代わりに語彙ベースのアルゴリズムによっても対処できる。コーパスベースアルゴリズムの利点の一つは、語彙ベースアルゴリズムほど労働集約的でない点である。もう一つの利点は、語彙ベースアルゴリズムと比べて、新しい言語やソーシャルメディア等の雑然とした新たなテキスト種に適応しやすい点である。ただし、アプリケーションで最良の性能を達成するには、両アプローチを組み合わせることが多い。

統計意味論

Źródło i licencja