単語の分散表現（単語埋め込み）に関する説明として、最も不適切なものを1つ選べ。
1つ選んでください
正解と解説を見る
解説
正解D
ポイント
word2vecは単語ごとに固定のベクトルを持ちますが、ELMoでは文脈に応じて単語のベクトルが変わる点が大きな違いです。
選択肢ごとの解説
- A
適切
ワンホットベクトルは語彙の数だけ次元を持ち、その単語の次元だけが1です。異なる単語どうしの内積は常に0になり、意味の近さを測れません。分散表現は単語を低次元の実数ベクトルで表し、この問題を解消します。
- B
適切
どちらも「意味の近い単語は似た文脈に現れる」という分布仮説にもとづき、予測のために学習した重みを単語ベクトルとして使います。学習後のベクトルでは「王−男＋女≒女王」のような演算ができることが知られています。
- C
適切
fastTextは単語を部分文字列（サブワード）に分けて学習し、その和で単語ベクトルを作ります。未知の単語でも部分文字列のベクトルから表現を組み立てられ、語形変化の多い言語でも有効です。
- D
不適切 ◯ 正解
ELMoは双方向LSTMによる言語モデルを使い、文全体を読んだうえで各単語のベクトルを作ります。同じ単語でも文脈ごとに異なるベクトルになるため、多義語を区別できます。固定のベクトルになるのはword2vecなどです。
試験での狙われ方
CBOWとスキップグラムの予測の向きや、文脈によってベクトルが変わるかどうかを比べる形が見られます。
関連用語
word2vec、分散表現、fastText、ELMo、ワンホットベクトル
参考
- G検定 試験出題範囲（シラバス2024）第1.4版 （技術分野 項目27 自然言語処理） 2026年10月30日閲覧
- Mikolov, Chen, Corrado, Dean, Efficient Estimation of Word Representations in Vector Space (2013) 2026年10月30日閲覧
- Bojanowski, Grave, Joulin, Mikolov, Enriching Word Vectors with Subword Information (2016) 2026年10月30日閲覧
- Peters et al., Deep contextualized word representations (2018) 2026年10月30日閲覧