Настоящее исследование состоит из 3 частей:
- Телефонный обзвон
- Исследование цифровых каналов
- Исследование чат-ботов и голосовых роботов
В рамках этой части специально обученная группа операторов аутсорсингового контакт-центра ГРАН в сентябре 2022 года совершила 4140 тестовых звонков в контактные центры 102 ведущих розничных банков. В каждую организацию совершено от 30 до 50 контрольных звонков. Звонки совершались по рабочим дням в промежутке с 8.00 до 20.00 в равной пропорции в утренние, дневные и вечерние часы.
При установлении соединения операторам задавались контрольные вопросы нейтрального характера, например:
- Какой у вас самый высокий процент по рублевому вкладу?
- Какие документы необходимы для получения кредита?
- Есть ли у вас комиссия на валютные счета?
- Можно ли у вас оформить карту Юнионпэй?
- Можно ли через вас сделать перевод в Казахстан?
В итоговом отчете отражены результаты каждого звонка, в том числе:
- Дата, время звонка
- Время постановки в очередь на оператора
- Время соединения с оператором
- Какой вопрос был задан
- Был ли получен ответ на контрольный вопрос, и на какой линии
Консультации, полученные с помощью голосовых роботов и ivr-скриптов, засчитывались так же, как если бы нас обслужил оператор.
На основе собранной статистики рассчитаны агрегированные показатели доступности и качества обслуживания телефонных обращений
Параллельно телефонному обзвону наши специалисты проверяли наличие цифровых каналов у банков и тестировали качество обслуживания в них. Исследование охватило чаты в неавторизованной зоне сайта, мессенджеры Telegram, WhatsApp и Viber, а также социальные сети «ВКонтакте» и «Одноклассники».
В тех каналах банках, которые были доступны для общения, в разные дни было сделано по 2 попытки получить консультацию. Операторам задавали один основной вопрос и один дополнительный. Например:
- Можно ли сделать карту для ребенка 10 лет? Какие документы для этого понадобятся?
- Сколько времени нужно на перевыпуск дебетовой карты? Можно ли сделать индивидуальный дизайн?
- Какую сумму ежемесячно можно переводить в другие банки без комиссий? Какая комиссия при превышении лимита или в тех случаях, когда перевод без нее невозможен?
Итоговая оценка консультации складывалась из качества ответов, скорости ответа на основной вопрос, наличия ответа на дополнительный вопрос, а также уровня культуры речи. На основе агрегированной статистики строился рейтинг омниканальности банков и отдельные рейтинги банков по уровню сервиса в мессенджерах и социальных сетях.
Отдельно наши специалисты фиксировали наличие чат-ботов в цифровых каналах банков (чатах в неавторизованной зоне сайта, мессенджерах, социальных сетях), а также голосовых роботов на входящих линиях обслуживания. Обнаруженных диалоговых роботов мы исследовали отдельно с целью оценить качество их работы. Каждому роботу мы задали 8 простых вопросов, например:
- Какие документы нужны для оформления кредита наличными?
- Как отключить смс-уведомления?
- Как досрочно частично погасить кредит?
- Как узнать реквизиты дебетовой карты?
Оценка консультации складывалась из точности и корректности определения намерения (интента), релевантности и полноты ответа, а также умения бота извлекать значимые факты из вопроса и учитывать их при предоставлении консультации.
Итоговые рейтинги чат-ботов и голосовых роботов учитывают не только суммарную оценку предоставленных консультаций, но и ряд других параметров:
- возможность общаться в свободной форме,
- применение кнопок-подсказок в диалоге (для чат-ботов),
- наличие возможности перевести диалог на оператора по запросу и после допущения ботом ошибки,
- умение переключаться между тематиками обслуживания, сохраняя контекст.
Разбивка на группы
Для дальнейшего анализа все исследуемые банки разделены на группы. В качестве критерия отнесения к группе использовались открытые данные Banki.ru о размерах чистых активов по состоянию на 1 февраля 2022. В результате разбивки образованы 3 группы: