音声認識の「精度が高い」という説明だけでは、自社の電話受付で使えるかは判断できません。営業時間を正しく文字にできても、折り返し先の電話番号を一桁間違えれば相手に連絡できなくなります。文字起こし全体の品質と、業務で必要な情報の正確さを分けて評価することが大切です。

また、音声認識が正しくても、会話システムが言い直しを反映しなかったり、受付先への登録に失敗したりすれば業務は完了しません。逆に、最初の聞き取りに誤りがあっても、確認と訂正によって正しい受付へ到達できる場合があります。本記事では、特定製品のベンチマークを比較するのではなく、自社の音声認識と電話業務を測定・改善する方法を整理します。

「認識精度」を一つの数字で説明しない

文字起こし、項目抽出、業務処理を切り分ける

音声認識は、音声を文字列へ変換する部分です。その後に、用件を分類する、氏名や日時を取り出す、必要事項を確認する、予約台帳などへ保存する処理が続きます。失敗が起きたら、どの段階で正しい情報から外れたかを調べる必要があります。

たとえば「来週の火曜ではなく水曜に変更したい」が正しく文字起こしされていても、会話システムが火曜を最終希望として扱えば、原因は音声認識ではありません。音声認識エンジンだけを変更しても、この問題が直るとは限りません。音声、認識結果、会話で保持した情報、保存先の結果を対応付けて確認できる記録が必要です。

議事録なら文章を後で人が修正できる場合がありますが、自動受付では誤りがそのまま処理へ進むことがあります。字幕では表示までの速さや読みやすさ、翻訳では認識後の訳の正しさも必要です。同じモデルでも、利用目的が違えば合格条件も変わります。

WER・CERの意味と、日本語での注意点

WERは単語誤り率で、正解の書き起こしに対する置換、削除、挿入を数え、正解側の単語数で割って評価します。Microsoft Learnの音声モデル評価資料でも、この三種類の誤りによる評価が説明されています。値が小さいほど単語列の誤りが少ないことを示しますが、業務が成功した割合ではありません。

割合で示す場合の計算は、「WER＝（置換数＋削除数＋挿入数）÷正解の単語数×100」です。挿入も数えるため、単純な正答率と同じ意味にはならず、誤りが多い場合は100%を超えることもあります。「100からWERを引けば電話業務の精度になる」といった読み替えはできません。

日本語では、どこで単語を区切るかによって比較する単位が変わります。形態素解析の方式、数字の表記、句読点、漢字と読みの扱いを揃えないまま、別々の評価結果を比べないようにします。文字単位で置換・削除・挿入を数えるCERも選択肢ですが、文字が一つ違う影響が業務によって異なる点は変わりません。

正解データと正規化の規則を残す

正解の書き起こしは、人が音声を確認して作ります。聞き取れない部分を推測で埋めず、評価対象から外すか別の扱いにする規則を決めます。「三時」と「3時」を同じとみなすか、フィラーや言い直しを残すかなども先に定め、モデルの結果を見た後に都合よく変更しません。

複数の音声をまとめる場合は、誤り数と正解単位数を集計する方式と、各音声の誤り率を平均する方式を区別します。短い発話と長い発話の重みが異なるためです。件数だけでなく、総音声時間、正解の単語数または文字数、集計方法を残すと、後の再評価で比較条件を揃えられます。

電話業務では重要項目を別に採点する

電話番号、氏名、日時、住所、注文番号などは、文全体の誤り率に埋もれやすい項目です。電話番号の誤りを一般的な助詞の誤りと同じ重みで扱うと、実務への影響が見えなくなります。重要項目ごとに、最初の認識結果と確認後の最終値が正しいかを分けて採点します。

氏名については、音声だけから漢字表記を一意に決められない場合があります。読みが分かればよい受付なのか、登録済み顧客と照合する必要があるのかを先に決めます。漢字を推測で確定するより、読みとして残し、照合が必要なら別の情報や担当者確認を組み合わせます。

数字も用途によって扱いが変わります。日付、数量、型番、電話番号を同じ正規化で処理せず、元の発話と確定した値を確認できるようにします。先頭のゼロが必要な識別番号を数値として扱って消してしまうなど、認識後の処理で起きる誤りも試験対象です。

自社の利用条件を反映した試験データを作る

静かな部屋で読んだ台本だけで判断しない

読み上げ音声は基本動作の確認には使えますが、実際の電話には沈黙、言い直し、早口、途中の質問変更、背景音があります。利用が想定される回線、端末、場所、話し方、用件を含むデータを用意し、条件ごとに結果を分けます。Google Cloudの精度評価資料も、実際の利用場面に対応する評価データを用いる考え方を示しています。

音声を加工した場合は、その内容も残します。録音の形式や音量調整、雑音抑制などの条件が変わると、認識結果に影響する可能性があります。製品間の比較では、同じ音声と前処理条件を使い、モデルや設定の版、実行日を記録します。

改善に使うデータと最終評価を分ける

辞書や会話を調整するために繰り返し見たデータだけで評価すると、その例には強いが新しい電話では失敗する状態を見逃します。改善用と評価用を分け、同じ話者や酷似した発話が両方に大量に重ならないようにします。評価用に確保したデータで改善後の結果を確認し、本番に近い新しい例でも問題がないか見ます。

実際の通話を使う場合は、録音の利用目的、利用権限、個人情報、外部サービスへの送信条件を確認します。通話記録を持っていることと、学習や別目的の検証に自由に使えることは同じではありません。氏名などを置き換えると音声の難しさ自体が変わる場合もあるため、匿名化の方法と評価上の限界を併記します。

想定例：折り返し受付を一件通して評価する

架空の試験通話で、相手が連絡先を伝えた後に「最後の数字を間違えました」と訂正し、希望時間も午前から午後へ変更したとします。この通話では、単に最初の数字を文字起こしできたかだけを採点しません。

まず認識結果に訂正の発話が含まれているかを確認し、次に会話システムがどの項目の訂正と解釈したかを調べます。変更後の連絡先と時間を復唱し、相手が了承した内容が記録へ反映されていれば、確認によって正しい受付へ到達しています。最初の認識の正確さと、訂正後の項目の正確さは別々に残します。

途中で雑音が増え、最後の桁を確認できなくなった場合は、同じ質問を繰り返すだけでなく、一桁ずつ聞くなど確認方法を変えます。それでも確認できない場合は、人へつなぐか、事前に定めた代替方法を案内します。電話番号が未確認なのに「担当者から折り返します」と断言しないことも合格条件に含めます。

最後に、受付記録が保存され、担当者が必要な情報を受け取れるところまで試験します。保存に失敗したのに完了を伝えた場合、音声認識が正しくても業務試験としては失敗です。このように、一つの通話を段階ごとに追うと改善対象を特定できます。

応答遅延と聞き直しも品質として測る

文字起こしの結果が正しくても、会話の返答が遅いと相手が話し直したり、切断したりすることがあります。音声入力から暫定結果まで、発話終了から認識確定まで、相手が話し終わってから返答音声が聞こえるまでを区別して測定します。最後の区間には、音声認識以外の会話処理やシステム照会、音声合成も含まれます。

平均だけでなく、遅い通話がどの程度あるかも確認します。長い発話、背景音が続く場面、同時に着信が増える時間などで、待ち時間が偏る場合があるためです。発話終了の判定を早くすると応答が速くなる一方、相手の続きを遮る可能性もあります。速さと発話の欠落を一緒に試してください。

聞き直しは失敗の証拠だけではなく、誤処理を防ぐ手段でもあります。必要な確認まで削らず、不要な反復を減らすことを目標にします。有人切替も一律に減らすのではなく、確認不能や対象外の用件で適切に切り替わったか、受け手につながったかを評価します。

改善は原因別に行い、同じ条件で再試験する

特定の名称だけが誤る場合は、対応サービスで利用できる語彙設定や辞書、表記の扱いを確認します。すべての誤りに辞書を追加するのではなく、別の言葉まで誤って同じ語に寄せられないかも再試験します。雑音が原因なら入力音声や回線条件、訂正を無視するなら会話で保持する情報、保存失敗なら連携処理を調べます。

比較では変更点を記録し、同じ評価データと条件で試します。新しい設定で全体のWERが下がっても、重要な番号や否定の認識が悪化していれば、その業務では採用を見送る判断もあります。改善後には、前に直した問題が再発していないかを確かめる回帰試験を行います。

導入判断に使う指標と分母

業務完了率を示すときは、自動処理だけで完了した割合と、人が引き継いで完了した割合を区別します。途中切断や判定しにくい事例を除外して良い数値だけを出さないようにし、除外理由と件数を残します。試験例が少ない条件については結論を限定し、追加確認が必要と扱います。

音声認識の精度は、WERやCERだけでなく、業務に重要な項目、訂正への対応、応答遅延、最終的な保存・引き継ぎまで分けて測ると判断しやすくなります。一律の精度保証ではなく、自社で起こり得る失敗をどこまで正しく扱えるかが評価の軸です。製品の検討全体はボイスボットの選び方でも紹介しています。

参考資料：Microsoft Learn「Test accuracy of a custom speech model」、Google Cloud「Measure and improve speech accuracy」。確認日：2026年10月7日。本文の業務試験と合格条件は、各資料の数値を製品保証として転用したものではなく、電話受付を評価するための設計例です。

「うちの電話でも聞き取れる？」を、具体的な相談に

名前や電話番号を正しく受け取れるか。途中で言い直しても伝わるか。AI電話に関心はあっても、その不安で検討が止まっているなら、Bellへお聞かせください。

自社の受付で大切な項目と、聞き間違いが困る場面から、何を確かめれば導入を判断できるかを一緒に整理しましょう。評価指標や試験内容がまだ決まっていなくても構いません。Bellに電話受付の検証について相談する