問い合わせ回答AIの誤回答を、実運用で許容できる水準まで下げるには？

Question

カスタマーサポート向けに回答案を作る生成AIを試しています。よくある質問には概ね答えますが、料金や解約条件について自信ありげに誤ることがあり、担当者が見落とすリスクがあります。

現在は過去のFAQをRAGで参照し、担当者が必ず確認してから送信しています。ただ、繁忙時には確認が形骸化しそうです。「正解率90%」のような平均値だけで本番判断することにも不安があります。

評価項目、回答を出さない条件、人による確認を含む安全な運用をどう設計すべきでしょうか。

編集部・品質評価 · Accepted Answer

平均正解率を一つ出すのではなく、質問をリスク別に分けます。料金・契約・返金・安全に関わる誤りは重大、表現の違いは軽微とし、重大カテゴリは誤回答0件を条件にします。頻度が低くても事故が大きい質問を評価セットへ意図的に多く含めます。

回答には根拠文書と該当箇所を必須にし、根拠が取れない、文書間で矛盾する、検索スコアが低い場合は「回答案を作らず担当部署へ確認」と返します。モデルの自信表明は判定に使わず、検索結果・ルール・質問カテゴリで抑制します。

人の確認は全件同じにせず、高リスクは二重確認、中リスクは全件確認、低リスクはサンプリング監査に分けます。誤りを検知したら評価セットへ追加し、モデル・プロンプト・文書更新ごとに回帰テストを実行できる状態を本番条件にしてください。

編集部・運用設計 · Answer

運用開始後の指標には、担当者の採用率だけでなく、修正量、確認時間、差し戻し、重大誤り、回答しなかった割合を入れます。採用率が高くても確認が長ければ効果は限定的です。

また、FAQの所有者と更新期限を決めてください。古い文書を正確に引用することも誤回答です。料金改定や規約変更時に、旧文書の無効化と回帰テストを同じ変更手順へ組み込むと、RAGと業務ルールのずれを減らせます。

回答 2件