音声認識とは

音声認識は、話し言葉を文字に起こす技術です。会議の議事録づくり、動画の字幕、コールセンターの通話の分析などで使われています。話の中身を文字にする技術で、声の主を特定する話者識別や、文字から声を作る音声合成とは目的が異なります。

処理の流れ

1. マイクで拾った音をA-D変換し、数値の列にする。
2. 20〜30ミリ秒程度の短い区間ごとにFFTで周波数成分を調べ、MFCCなどの特徴量を取り出す。
3. 特徴量の並びから、最も確からしい文字列を推定する。

従来の方式

1952年には米国のベル研究所が、特定の1人が話す数字を聞き分ける装置を発表しています。その後に主流となった方式では、手順3を3つの部品に分けて行います。音素ごとの音の特徴を表す音響モデル、単語を音素の並びに対応づける発音辞書、単語のつながりやすさを表す言語モデルです。音響モデルには長く隠れマルコフモデル（HMM）が使われてきました。2010年代初めには、その一部をディープニューラルネットワークに置き換えて、精度が大きく向上しました。

End-to-Endモデルへ

その後、特徴量から文字列までを1つのニューラルネットワークで直接学習するEnd-to-Endモデルが広がりました。音声のどの区間がどの文字に当たるかを人が与えなくても学習できるCTCや、AttentionやTransformerを使うモデルが代表です。OpenAIが2022年に発表したWhisperは、インターネットから集めた約68万時間の音声と書き起こしで学習し、多くの言語に対応しています。

精度の測り方

認識結果を正解の文と比べ、置換・削除・挿入の誤りの数を正解の単語数で割った単語誤り率（WER）で評価します。単語の区切りが文中に書かれない日本語では、文字単位の文字誤り率（CER）がよく使われます。

覚え方

「音→数値→特徴量→文字」の順に、音を少しずつ文字に近づけると覚えます。