「カスタマーサポートの応対品質をAIで評価」 均質にスコア化することで、 体系的なコーチングの実現による 応対品質向上に貢献

DMM.comカスタマサポート部では、動画配信サービスをはじめとするインターネットプラットフォームサービス事業のお問い合わせに対し、約50名のオペレーターが電話とメールで対応しています。その内容は、「会員登録の方法を教えてほしい」「ログインできない」といったお問い合わせがほとんどです。これまでは約10名のスーパーバイザーが一部の通話記録データをチェックし、その評価に基づき、応対品質を向上させるためのコーチングを行っていました。

お客様との通話記録の中から10分以内のデータを一部抽出し、スーパーバイザーが実際に聴いて評価していましたが、抽出の偏りが生じる上、多大な労力がかかっていました。また、スーパーバイザーによって評価にばらつきがあり、評価を受けるオペレーターは納得がいかないことも。各オペレーターの課題点もうまく引き出せず、適切なコーチングができているのか疑念がありました。

評価項目を10から30程度まで増やしたり、〇✕で評価していたところを3段階、5段階評価にしたりと試行錯誤を重ねましたが、やはり手動で評価するには限界があります。この2、3年は部内でDXを促進する動きもあり、応対品質の評価も自動化できないか検討しているところでした。

こうした中、2023年9月頃、NTTマーケティングアクトProCXから、デジタル品質評価ソリューション「ONE CONTACT Quality Management」を紹介していただきました。

「ONE CONTACT Quality Management」は、AIが通話音声を解析し、応対品質を自動評価するというソリューションです。弊社でも同様のソリューションを探していたのですが、2023年時点ではまだ少なく、仮にあったとしても通話音声そのものを評価するのではなく、通話記録を文字おこししてテキストベースで評価するものがほとんど。ですが、「ONE CONTACT Quality Management」はすべての通話音声をキーワード・音素や感情など多角的にAIが自動評価するため、とても興味を引かれました。

人間による評価と違い、AIなら応対評価が均質化されます。オペレーターの納得感も高く、前向きに改善行動に移せるため、私たちの課題にも即していると感じました。

導入に際し、まずはNTTマーケティングアクトProCX協力のもと、2023年12月からPoC（概念実証）を行いました。オペレーターの通話音声をお渡しして試験的に評価していただいたところ、その精度がとても高く、納得感のある結果が出ました。オペレーターの話し方だけでなく、お客様の満足度まで分析・評価できる点も大きな魅力でした。

PoCにより「ONE CONTACT Quality Management」の妥当性が証明されましたし、一時的な効果だけなく、中長期的な発展性や拡張性も見込めました。そこで、2024年4月から導入することを決定しました。

「ONE CONTACT Quality Management」の開発にあたって、私たちが重視したのは、“お客様にとって心地よい応対ができているか”、“ロイヤルティ向上につながる応対ができているか”という2点でした。そこで、5万件ものコールデータをAIに学習させ、21項目について自動評価できるようにしました。その点が、他社のソリューションとは違うストロングポイントです。

導入にあたっては、二つのプランをご提案させていただきました。
まず一つが、DMM.com様自身でシステムを運用するプランです。DMM.com様専用のクラウド環境を用意し、評価設定も自由にカスタマイズしていただけますが、一からシステムを導入する必要があり、コストもかかります。
もう一つは、DMM.com様から通話記録データをお預かりし、弊社からAIによる評価結果をお渡しするプランです。弊社に運用をお任せいただくため、手軽に導入でき、コストも抑えられるため、こちらのプランを採用していただきました。

現在は、コールセンター全体のスコアと、個人のスコアを比較できるよう、レポートを出していただいています。その評価シートをスーパーバイザーとオペレーターに渡し、自分のウィークポイントを自覚してもらい、改善行動につなげています。

私たちスーパーバイザーは、常にオペレーターの電話応対を耳にしています。そのため、「ONE CONTACT Quality Management」導入前は、「このオペレーターさんは普段は素晴らしい応対をするけれど、今回抽出した通話データはたまたま評価が低かったな」と思うケースもあり、評価の公平性に課題を感じていました。

ですが、「ONE CONTACT Quality Management」はAIによる複数音源の評価なので平等性があります。各項目のスコアが数値で示されるため、長所と短所がはっきりわかり、指導もしやすくなりました。

私はオペレーターとして日々お客様応対をしていますが、やはりこれまでの評価は納得感が低いこともありました。「ONE CONTACT Quality Management」は各項目が数値で評価されるため、とてもわかりやすく、自分がこれまで認識していなかった課題や、自分自身はできていると思っていた弱点を見つけられるようになりました。

例えば“お客様に合わせたペース・声量・声の高さ”という項目は、自分ではできていると思っていましたが、初めてのレポートでは、全体から見て平均的なスコアでした。そこで、より伝わりやすい話し方を意識した結果、直近のデータでは大きく改善しました。品質向上につながり、「ONE CONTACT Quality Management」には本当に感謝しています。

全体を通しても、応対スコアが大きく改善の傾向を見せております。

ミーティングでも、オペレーターから前向きな質問を受けるようになりました。「ONE CONTACT Quality Management」の導入により、「全体評価に比べて、自分はこの項目のスコアが低かった。より良い応対ができるようになりたい」という気持ちが生まれたのだと思います。ある項目のスコアが低いオペレーターから相談を受けたときには、その項目が得意なオペレーターに協力してもらい、一緒にコーチングをしたこともあります。これまではスーパーバイザーとオペレーターが1対1でやりとりしていましたが、みんなで応対品質の向上を目指そうという自主性が芽生えたのだと感じています。コミュニケーションも増え、コールセンター全体の雰囲気も明るくなりました。

私もアドバイスをいただく機会が増えましたし、他のオペレーターの電話応対を耳にしたときに、「ここはこうしたほうがいいんじゃないかな」とアドバイスするようになりました。

これまでは「ONE CONTACT Quality Management」をスポット的に導入していただくケースが多かったのですが、DMM.com様には定点的な応対品質評価のために導入していただきました。NTTマーケティングアクトProCXには北陸VOCサポートセンタがあり、DMM.com様とは物理的な距離が近いこともあり、初の試みとして両社でディスカッションさせていただく運びとなりました。

2024年4月に「ONE CONTACT Quality Management」を導入していただき、同年5月には評価項目について解説させていただきました。評価項目を詳しく知っていただくことで、より納得感を持って品質改善につなげていただきたいという思いがありました。

2回目のディスカッションは、2024年10月に実施しました。実際に「ONE CONTACT Quality Management」を運用する中で、AIの評価ロジックなど、活用を進める中でより深く理解したいという思いがあり、その点を確認させていただきました。

評価基準が漠然としている項目に関しても、改善行動に結び付けるため、どのような点を評価しているのかAIのロジックを教えていただきました。

定点的にデータを計測することで、少しずつスコアが上がっていくところも実感していただけました。それとともに、弊社では定量的なデータだけでなく、どうしてこの項目の評価が低かったのか、どのようにすればスコアアップできるのかという定性的なコメントもご提案できればうれしいです。

AIによる品質評価は、人による評価よりも受け入れやすいのではないかと思います。業種・業態にかかわらず、お客様と音声を使ってやりとりするコンタクトセンターであれば、きっと大きな成果が得られるのではないかと思います。

しかも、オペレーターの数が多いほど省力化やコストカットの効果を得やすいはずです。これまで人が行っていたことをAIに受け渡すのは勇気がいるかもしれませんが、PoCもしていただけるので、まずは相談してみることをおすすめします。

私たちとしても、業種を問わずご対応させていただいています。
コンタクトセンターにおけるお困り事があれば、ぜひご相談いただきたいですね。

お客様の満足度は、数値では測れないところもあります。例えば、時間がなく今すぐ電話を切りたいお客様に対し、「不明点はございませんか？」とゆっくり丁寧に確認するのが正解とは限りません。とはいえ、「ONE CONTACT Quality Management」の評価は私たちにとって大切な指標です。評価の自動化により私たちのタスクが減ったため、できた時間をコーチングやオペレーターとのコミュニケーションに充て、応対品質の底上げや顧客満足度の向上につなげていきたいです。

スコアアップを目的にするとツール攻略になってしまいますが、それでは本末転倒ですよね。お客様の満足度を高め、DMM.comのファンになっていただくという基本指針は忘れず、「ONE CONTACT Quality Management」を運用していきたいと思います。