Методология

НАСТОЯЩЕЕ ИССЛЕДОВАНИЕ ВКЛЮЧАЕТ 2 СРЕЗА:

1. Обслуживание в неавторизованной зоне

  • Обслуживание звонков
  • Обслуживание операторами в текстовых каналах
  • Обслуживание чат-ботами и голосовыми роботами

 

2. Обслуживание в мобильном приложении, мобильном банке

  • Обслуживание операторами в чате мобильного приложения
  • Обслуживание чат-ботами в мобильном приложении
Обслуживание в неавторизованной зоне
Обслуживание в авторизованной зоне

Телефонный обзвон

В рамках этой части специально обученная группа операторов аутсорсингового контакт-центра ГРАН ежегодно совершает более 7000 тестовых звонков в контактные центры ведущих розничных банков, страховых компаний, торговых сетей, инернет-магазинов и маркетплейсов. В каждую организацию совершается от 30 до 50 контрольных звонков — по 6-10 звонков в разные дни недели в равной пропорции в утренние, дневные и вечерние часы. Время ожидания ответа оператора ограничено 45 минутами.

При установлении соединения операторам задаются контрольные вопросы нейтрального характера, например:

  • Какой у вас самый высокий процент по рублевому вкладу?
  • Какие документы необходимы для получения кредита?
  • Есть ли у вас комиссия на валютные счета?
  • Можно ли у вас оформить карту Юнионпэй?
  • Можно ли через вас сделать перевод в Казахстан?
  • Как будут осуществляться страховые выплаты по зеленой карте, если я нахожусь на территории Грузии?
  • Сколько можно вписать водителей в полис ОСАГО?
  • Есть ли у Вас возрастные ограничения по оформлению полиса ДМС?
  • Я хочу застраховаться от несчастного случая, у вас договор оформляется в электронном виде или в бумажном?
  • Каким образом защищены мои денежные средства при накопительном Страховании Жизни?
  • Какие нужны документы для оформления страхования жизни на ребенка?
  • Какие риски включены в полис для выезжающих за рубеж?
  • Можно ли застраховать строящийся дом?
  • Какой должен быть срок действия у полиса ипотечного страхования?
  • Я потерял скидочную карту, номер, к сожалению, не помню, а приложением не пользуюсь. Можно ли ее восстановить  или нужно новую покупать?
  • Можно ли продлить срок хранения товара в пункте самовывоза? На сколько дней?
  • Может ли другой человек вместо меня оформить возврат товара? Что для этого нужно?
  • Что делать, если не приходит смс-код при активации карты лояльности?
  • Можно ли у вас заказать доставку лекарств, которые продаются по рецепту?

В итоговом отчете фиксируются результаты каждого звонка, в том числе:

  • Дата, время звонка
  • Время постановки в очередь на оператора
  • Время соединения с оператором
  • Какой вопрос был задан
  • Был ли получен ответ на контрольный вопрос, и на какой линии

Оценка уровня доступности

Для расчета показателя доступности учитываются следующие звонки:

  • Соединение с оператором произошло до 20 сек.
  • Соединение с оператором произошло c 21 до 90 сек.
  • На вопросы отвечает робот или IVR-скрипт

Оценка уровня качества

При расчете показателей качества учитываются следующие звноки:

  • Оператор/робот ответил на контрольный вопрос
  • Оператор переключил на специалиста, который ответил на контрольный вопрос

Исследование цифровых каналов

Параллельно телефонному обзвону наши специалисты проверяют наличие цифровых каналов и тестируют качество обслуживания в них. Исследование охватывает чаты в неавторизованной зоне сайта, мессенджеры Telegram, WhatsApp и Viber, а также социальные сети «ВКонтакте» и «Одноклассники».

В тех каналах, которые доступны для общения, в разные дни предпринимается по 2 попытки получить консультацию. Операторам задается один основной вопрос и один дополнительный. Например:

  • Можно ли сделать карту для ребенка 10 лет? Какие документы для этого понадобятся?
  • Сколько времени нужно на перевыпуск дебетовой карты? Можно ли сделать индивидуальный дизайн?
  • Какую сумму ежемесячно можно переводить в другие банки без комиссий? Какая комиссия при превышении лимита или в тех случаях, когда перевод без нее невозможен?
  • Действует ли страховка от несчастного случая за рубежом? Есть ли страны-исключения из покрытия?
  • Какие документы потребуются для оформления КАСКО? Можно ли у вас оформить полис онлайн, используя заверенные сканы?
  • Предусмотрена ли в рамках вашей программы ОСАГО возможность вызвать аварийного комиссара на место ДТП? Можно ли включить эту опцию в страховку?
  • Какова максимальная сумма страхования путешествия за рубеж? Включает ли в себя максимальный пакет страхование багажа?
  • Какой минимальный ежемесячный взнос по программе накопительного страхования? Можно ли менять периодичность взносов после заключения договора, например, перейти с ежегодной на ежемесячную, при этом в год вносить столько же денег?
  • Как можно получить карту клиента? Можно ли ее получить в виртуальной форме?
  • У вас есть подарочные сертификаты? Какой максимальный номинал и минимальный номинал?
  • При курьерской доставке можно получить чек в электронном виде на почту? А вообще курьер в бумажном виде обычно передает его с заказом?
  • Можно ли продлить срок хранения товара в пункте самовывоза? На сколько дней?
  • Если товар меня не устроил, я могу не забирать его у курьера? Надо ли потом что-то дополнительно делать для возврата денег?

В каждый лрчступный канал делается 2 обращения с разницей во времени не менее 1 рабочего дня. Если ответа на первое обращение до этого момента не поступило, второй вопрос может быть задан на третий день после отправки первого вопроса. Ответы, поступающие позже, втакже 3-х дней с момента отправки обращения также учитываются. Основной и дополнительный вопрос могут быть заданы в одном обращении.

Оценка качества консультаций

При оценке качества консультаций используются следующие критерии

  • Качество ответа на основной вопрос (до 2 баллов) 
  • Наличие и качество ответа на дополнительный вопрос (до 1 балла) 
  • Культура речи, вежливость и грамотность (до 1 балла)
  • Скорость предоставления ответа на основной вопрос (2 балла — 0-5 минут, 1,5 балла — 5-15 минут, 1 балл — 15-60 минут, 0,5 балла — 1-3 часа, 0 баллов — более 3 часов)

Исследование чат-ботов и голосовых роботов

Отдельно наши специалисты фиксируют наличие чат-ботов в цифровых каналах (чатах в неавторизованной зоне сайта, мессенджерах, социальных сетях), а также голосовых роботов на входящих линиях обслуживания. Все обнаруженные диалоговые роботы исследуются отдельно с целью оценить качество их работы. Для этого каждому роботу  задается 14 вопросов, например:

  • Какие документы нужны для оформления кредита наличными?
  • Как отключить смс-уведомления?
  • Как досрочно частично погасить кредит?
  • Как узнать реквизиты дебетовой карты?
  • Какие есть способы заявить о страховом случае
  • Можно ли оформить страховку онлайн?
  • Какой порядок закрытия/расторжения договора страхования?
  • Какие способы доставки заказов доступны?
  • Как получить карту клиента?
  • Как способы оплаты заказов есть?
  • Как активировать карту лояльности?

При этом каждому боту задается 4 усложненных вопроса, подразумевающих извлечение извлечение важной детали из диалога.

Оценка качества чат-ботов и голосовых помощников

Оценка консультации предоставленной чат-ботами и голосовыми помощниками складывается из точности и корректности определения намерения (интента), релевантности и полноты ответа, а также умения бота извлекать значимые факты из вопроса и учитывать их при предоставлении консультации. Итоговые рейтинги чат-ботов и голосовых роботов учитывают не только суммарную оценку предоставленных консультаций, но и ряд других параметров:

  • Возможность общаться в свободной форме
  • Умение переключаться между тематиками без потери контекста
  • Возможность перейти на оператора по запросу или после ошибки бота
  • Наличие кнопок-подсказок в чате, ускоряющих консультацию

Разбивка на группы

Для дальнейшего анализа все исследуемые организации разбиваются на группы. В качестве критерия отнесения к группе используются данные о размере чистых активов, размере собираемых страховых премий и размере выручки. В результате такой разбивки в каждой отрасли выделяются  3 группы:

Банки Размер чистых активов
1 группа более 1 трлн руб.
2 группа от 100 млрд до 1 трлн руб.
3 группа менее 100 млрд руб.

 

Страховые Объем собираемых премий (в год)
1 группа более 70 мдрд руб.
2 группа от 6 до 70 млрд руб.
3 группа менее 6 млрд руб.

 

Ритейлеры Годовой оборот
1 группа более 150 млрд руб.
2 группа от 45 до 150 млрд руб.
3 группа менее 45 млрд руб.

Исследование авторизованной зоны 

В рамках этой части оценивается обслуживание в мобильном приложении: 

Чат с оператором

  • Функционал чата в мобильном приложении
  • Общие характеристики чата с оператором
  • Качество обслуживания операторами в чате

Чат с ботом

  • Фичи и диалоговые навыки чат-бота
  • Качество обслуживания чат-ботом 

Исследование чата с оператором в авторизованной зоне

Исследование функционала чата

Функционала чата исследуется по 9 параметрам, каждый из которых имеет свой вес в суммарной оценке: 

  1. Расположение чата в приложении (1,2,3 экран)
  2. Сохранение истории чата
  3. Возможность скопировать сообщение
  4. Возможность удалить сообщение у всех
  5. Функция Reply — возможность ответа на конкретное сообщение, отображение исходного сообщения в ответе в виде цитаты или в иной форме
  6. Возможность отправить вложение (фото, файл) со стороны клиента
  7. Голосовой ввод сообщения на стороне виджета чата
  8. Предиктивный ввод (всплывающие подсказки при вводе вопроса)
  9. Поиск по сообщениям 

Оценка общих характеристик чата с оператором

В данном блоке исследуется 4 параметра чата с оператором. Параметры вносят разный вклад в итоговую оценку обслуживания операторами в авторизованной зоне:

  1. Персонализация в обращении: обращение по имени в приветствии или других сообщениях (малый вес)
  2. Учет контекста и предыдущего обращения: доступ оператора к истории сообщений  (большой вес)
  3. Запрос обратной связи клиента о решении вопроса и потребности в дальнейшей помощи (средний вес)
  4. Таймаут сессии: установленные сроки автоматического закрытия сессии при бездействии клиента в нерешенном вопросе (средний вес).

Оценка качества обслуживания операторами

В каждый чат с операторами отправляется 15 обращений, часть из которых подразумевает использование персональных данных из профиля клиента (подключенные продукты, лимиты по ним, баланс счетов, выбранные категории кэшбэка и т п.).

При отправке каждого обращения фиксируются следующие факты:

  1. Время и дата отправки сообщения
  2. Время и дата первой реакции
  3. Время от отправки вопроса до его решения 
  4. Количество переводов (трансферов) между сотрудниками при решении вопроса
  5. Факт получения консультации 

Для оценки качества обслуживания операторами используется 19 тестовых сценариев, каждый из которых включает 2 вопроса: основной, и дополнительный. Вопросы каждого тест-кейса отправляются в чат одновременно по рабочим и выходным дням в интервале с 9 утра до 19 вечера. Между обращениями выдерживается не менее 2 часов паузы.

В каждом отдельном тест-кейсе проставляются оценки по параметрам, имеющим разный вес:

  1. Качество предоставленной консультации: получен ли ответ на основной вопрос тест-кейса, а также детальность, подробность, понятность консультации (средний вес)  
  2. Качество ответа на дополнительный вопрос (малый вес)
  3. Культура речи:грамотность, вежливость, отсутствие грамматических и орфографических ошибок, фамильярности, резкости формулировок (малый вес).
  4. Скорость решения вопроса (средний вес)
  5. Персонализация консультации в тех вопросах, где это возможно (средний вес)

Итоговая оценка чата с операторами и место в рейтинге

Итоговая оценка рассчитывается как сумма баллов по всем разделам: функционал чата + общие характеристики операторского обслуживания + баллы за обслуживание каждого из 15 чатов.

Исследование чат-ботов в авторизованной зоне

Фичи и диалоговые навыки чат-бота

Фичи и диалоговые навыки чат-ботов исследуется по 21 параметру, каждый из которых имеет свой вес в суммарной оценке:

  1. Онбординг \ надклавиатурные кнопки (средний вес)
  2. Представляется ли бот ботом? (без веса)
  3. Способность общаться в свободной форме (средний вес)
  4. Быстрые кнопки-саджесты внутри сценариев \ Инлайн-кнопки (малый вес)
  5. Использование виджетов внутри чата (средний вес)
  6. Персонализация в обращении к клиенту (малый вес)
  7. Возможность скопировать сообщение (малый вес)
  8. Возможность отправить вложение со стороны клиента (малый вес)
  9. Обработка вложения со стороны бота (малый вес)
  10. Использование ботом скриншотов-инструкций в консультациях для навигации клиента по интерфейсу приложения и функционалу (малый вес)
  11. Эмоджи  в коммуникации (без веса)
  12. Диплинки и ссылки на сайт в ответах чат-бота (средний вес)
  13. История чата (средний вес)
  14. Предиктивный ввод текста (малый вес)
  15. Голосовой ввод сообщения (малый вес)
  16. Перевод на оператора по запросу клиента  (средний вес)
  17. Перевод чата на оператора, если бот не понимает вопрос (малый вес)
  18. Подтверждение успешности решения вопроса (малый вес)
  19. Возможность решить два вопроса в рамках одной сессии) (малый вес)
  20. Оценка консультаций бота (без веса)
  21. Реакции клиента на ответы бота (без веса)

Оценка качества обслуживания чат-ботом

В каждый чат с ботом отправляется 29 обращений, часть из которых подразумевает использование персональных данных из профиля клиента (подключенные продукты, лимиты по ним, баланс счетов, выбранные категории кэшбэка и т п.). Вопросы каждого из 29 тест-кейсов отправляются в чат с ботом в произвольное время с произвольными интервалами.  

В каждом отдельном тест-кейсе проставляются оценки по 4 параметрам, имеющим разный вес в итоговой оценке. В некоторых тест-кейсах присуждаются дополнительные баллы за возможность получить сервис прямо в чате: 

  1. Корректность классификации запроса (средний вес)
  2. Качество (релевантность, понятность) ответа (средний вес) 
  3. Оказание сервиса end-to-end в чате или персонализация ответа с опорой на данные о клиенте  (средний вес) 
  4. Учет и извлечение атрибутов (значимых деталей) из реплик клиента (малый  вес) 

Итоговая оценка чат-бота и место в рейтинге

Итоговая оценка рассчитывается как сумма баллов по всем разделам: фичи и диалоговые навыки бота + баллы за качественную часть — работу в каждом из 29 сценариев