Методология

Настоящее исследование состоит из 3 частей:

  1. Телефонный обзвон
  2. Исследование цифровых каналов
  3. Исследование чат-ботов и голосовых роботов

Телефонный обзвон

В рамках этой части специально обученная группа операторов аутсорсингового контакт-центра ГРАН в период с 8 по 18 сентября 2020 совершила 4230 тестовых звонков в контактные центры 104 ведущих розничных банков. В каждую организацию совершено от 30 до 50 контрольных звонков. Звонки совершались по рабочим дням в промежутке с 9.00 до 20.00 в равной пропорции в утренние, дневные и вечерние часы.

При установлении соединения операторам задавались контрольные вопросы нейтрального характера, например:

  • Какой у вас самый высокий процент по рублевому вкладу?
  • Какие документы необходимы для получения кредита?
  • Есть ли у вас кредитные карты с льготным периодом?

В итоговом отчете отражены результаты каждого звонка, в том числе:

  • Дата, время звонка
  • Время постановки в очередь на оператора
  • Время соединения с оператором
  • Общая продолжительность соединения
  • Какой вопрос был задан
  • Был ли получен ответ

Консультации, полученные с помощью голосовых роботов и ivr-скриптов, засчитывались так же, как если бы нас обслужил оператор.

На основе собранной статистики рассчитаны агрегированные показатели доступности и качества обслуживания телефонных обращений

Исследование цифровых каналов

С 15 сентября по 13 октября наши специалисты проверяли наличие цифровых каналов у банков и тестировали качество обслуживания в них. Исследование охватило чаты в неавторизованной зоне сайта, мессенджеры Telegram, WhatsApp и Viber, а также социальные сети «ВКонтакте», Facebook, Instagram и «Одноклассники».

В тех каналах банках, которые были доступны для общения, в разные дни было сделано по 2 попытки получить консультацию. Операторам задавали один основной вопрос и один дополнительный. Например:

  • Можно ли сделать карту для ребенка 10 лет? Какие документы для этого понадобятся?
  • Сколько времени нужно на перевыпуск дебетовой карты? Можно ли сделать индивидуальный дизайн?
  • Какую сумму ежемесячно можно переводить в другие банки без комиссий? Какая комиссия при превышении лимита или в тех случаях, когда перевод без нее невозможен?

Итоговая оценка консультации складывалась из качества ответов, скорости ответа на основной вопрос, наличия ответа на дополнительный вопрос, а также уровня культуры речи. На основе агрегированной статистики строился рейтинг омниканальности банков и отдельные рейтинги банков по уровню сервиса в мессенджерах и социальных сетях.

Исследование чат-ботов и голосовых роботов

С 15 сентября по 13 октября наши специалисты фиксировали наличие чат-ботов в цифровых каналах банков (чатах в неавторизованной зоне сайта, мессенджерах, социальных сетях), а также голосовых роботов на входящих линиях обслуживания. Обнаруженных диалоговых роботов мы исследовали отдельно с целью оценить качество их работы. Каждому роботу мы задали 8 простых вопросов, например:

  • Какие документы нужны для оформления кредита наличными?
  • Как отключить смс-уведомления?
  • Как досрочно частично погасить кредит?
  • Как узнать реквизиты дебетовой карты?

Оценка консультации складывалась из точности и корректности определения намерения (интента), релевантности и полноты ответа, а также умения бота извлекать значимые факты из вопроса и учитывать их при предоставлении консультации.

Итоговые рейтинги чат-ботов и голосовых роботов учитывают не только суммарную оценку предоставленных консультаций, но и ряд других параметров:

  • возможность общаться в свободной форме,
  • применение кнопок-подсказок в диалоге (для чат-ботов),
  • наличие возможности перевести диалог на оператора по запросу и после допущения ботом ошибки,
  • умение переключаться между тематиками обслуживания, сохраняя контекст.

Разбивка на группы

Для дальнейшего анализа все исследуемые банки разделены на группы. В качестве критерия отнесения к группе использовались открытые данные ЦБ РФ о размерах чистых активов по состоянию на август 2020. В результате разбивки образованы 3 группы:

Группа Количество банков в группе Размер чистых активов (рублей)
14 более 1 трлн
40 100 млрд – 1 трлн
3 50 менее 100 млрд