Методология

НАСТОЯЩЕЕ ИССЛЕДОВАНИЕ СОСТОИТ ИЗ 3 ЧАСТЕЙ:

  • Телефонный обзвон
  • Исследование цифровых каналов
  • Исследование чат-ботов и голосовых роботов

Телефонный обзвон

В рамках этой части специально обученная группа операторов аутсорсингового контакт-центра ГРАН ежегодно совершает более 7000 тестовых звонков в контактные центры ведущих розничных банков, страховых компаний, торговых сетей, инернет-магазинов и маркетплейсов. В каждую организацию совершается от 30 до 50 контрольных звонков — по 6-10 звонков в разные дни недели в равной пропорции в утренние, дневные и вечерние часы. Время ожидания ответа оператора ограничено 45 минутами.

При установлении соединения операторам задаются контрольные вопросы нейтрального характера, например:

  • Какой у вас самый высокий процент по рублевому вкладу?
  • Какие документы необходимы для получения кредита?
  • Есть ли у вас комиссия на валютные счета?
  • Можно ли у вас оформить карту Юнионпэй?
  • Можно ли через вас сделать перевод в Казахстан?
  • Как будут осуществляться страховые выплаты по зеленой карте, если я нахожусь на территории Грузии?
  • Сколько можно вписать водителей в полис ОСАГО?
  • Есть ли у Вас возрастные ограничения по оформлению полиса ДМС?
  • Я хочу застраховаться от несчастного случая, у вас договор оформляется в электронном виде или в бумажном?
  • Каким образом защищены мои денежные средства при накопительном Страховании Жизни?
  • Какие нужны документы для оформления страхования жизни на ребенка?
  • Какие риски включены в полис для выезжающих за рубеж?
  • Можно ли застраховать строящийся дом?
  • Какой должен быть срок действия у полиса ипотечного страхования?
  • Я потерял скидочную карту, номер, к сожалению, не помню, а приложением не пользуюсь. Можно ли ее восстановить  или нужно новую покупать?
  • Можно ли продлить срок хранения товара в пункте самовывоза? На сколько дней?
  • Может ли другой человек вместо меня оформить возврат товара? Что для этого нужно?
  • Что делать, если не приходит смс-код при активации карты лояльности?
  • Можно ли у вас заказать доставку лекарств, которые продаются по рецепту?

В итоговом отчете фиксируются результаты каждого звонка, в том числе:

  • Дата, время звонка
  • Время постановки в очередь на оператора
  • Время соединения с оператором
  • Какой вопрос был задан
  • Был ли получен ответ на контрольный вопрос, и на какой линии

Оценка уровня доступности

Для расчета показателя доступности учитываются следующие звонки:

  • Соединение с оператором произошло до 20 сек.
  • Соединение с оператором произошло c 21 до 90 сек.
  • На вопросы отвечает робот или IVR-скрипт

Оценка уровня качества

При расчете показателей качества учитываются следующие звноки:

  • Оператор/робот ответил на контрольный вопрос
  • Оператор переключил на специалиста, который ответил на контрольный вопрос

Исследование цифровых каналов

Параллельно телефонному обзвону наши специалисты проверяют наличие цифровых каналов и тестируют качество обслуживания в них. Исследование охватывает чаты в неавторизованной зоне сайта, мессенджеры Telegram, WhatsApp и Viber, а также социальные сети «ВКонтакте» и «Одноклассники».

В тех каналах, которые доступны для общения, в разные дни предпринимается по 2 попытки получить консультацию. Операторам задается один основной вопрос и один дополнительный. Например:

  • Можно ли сделать карту для ребенка 10 лет? Какие документы для этого понадобятся?
  • Сколько времени нужно на перевыпуск дебетовой карты? Можно ли сделать индивидуальный дизайн?
  • Какую сумму ежемесячно можно переводить в другие банки без комиссий? Какая комиссия при превышении лимита или в тех случаях, когда перевод без нее невозможен?
  • Действует ли страховка от несчастного случая за рубежом? Есть ли страны-исключения из покрытия?
  • Какие документы потребуются для оформления КАСКО? Можно ли у вас оформить полис онлайн, используя заверенные сканы?
  • Предусмотрена ли в рамках вашей программы ОСАГО возможность вызвать аварийного комиссара на место ДТП? Можно ли включить эту опцию в страховку?
  • Какова максимальная сумма страхования путешествия за рубеж? Включает ли в себя максимальный пакет страхование багажа?
  • Какой минимальный ежемесячный взнос по программе накопительного страхования? Можно ли менять периодичность взносов после заключения договора, например, перейти с ежегодной на ежемесячную, при этом в год вносить столько же денег?
  • Как можно получить карту клиента? Можно ли ее получить в виртуальной форме?
  • У вас есть подарочные сертификаты? Какой максимальный номинал и минимальный номинал?
  • При курьерской доставке можно получить чек в электронном виде на почту? А вообще курьер в бумажном виде обычно передает его с заказом?
  • Можно ли продлить срок хранения товара в пункте самовывоза? На сколько дней?
  • Если товар меня не устроил, я могу не забирать его у курьера? Надо ли потом что-то дополнительно делать для возврата денег?

В каждый лрчступный канал делается 2 обращения с разницей во времени не менее 1 рабочего дня. Если ответа на первое обращение до этого момента не поступило, второй вопрос может быть задан на третий день после отправки первого вопроса. Ответы, поступающие позже, втакже 3-х дней с момента отправки обращения также учитываются. Основной и дополнительный вопрос могут быть заданы в одном обращении.

Оценка качества консультаций

При оценке качества консультаций используются следующие критерии

  • Качество ответа на основной вопрос (до 2 баллов) 
  • Наличие и качество ответа на дополнительный вопрос (до 1 балла) 
  • Культура речи, вежливость и грамотность (до 1 балла)
  • Скорость предоставления ответа на основной вопрос (2 балла — 0-5 минут, 1,5 балла — 5-15 минут, 1 балл — 15-60 минут, 0,5 балла — 1-3 часа, 0 баллов — более 3 часов)

Исследование чат-ботов и голосовых роботов

Отдельно наши специалисты фиксируют наличие чат-ботов в цифровых каналах (чатах в неавторизованной зоне сайта, мессенджерах, социальных сетях), а также голосовых роботов на входящих линиях обслуживания. Все обнаруженные диалоговые роботы исследуются отдельно с целью оценить качество их работы. Для этого каждому роботу  задается 14 вопросов, например:

  • Какие документы нужны для оформления кредита наличными?
  • Как отключить смс-уведомления?
  • Как досрочно частично погасить кредит?
  • Как узнать реквизиты дебетовой карты?
  • Какие есть способы заявить о страховом случае
  • Можно ли оформить страховку онлайн?
  • Какой порядок закрытия/расторжения договора страхования?
  • Какие способы доставки заказов доступны?
  • Как получить карту клиента?
  • Как способы оплаты заказов есть?
  • Как активировать карту лояльности?

При этом каждому боту задается 4 усложненных вопроса, подразумевающих извлечение извлечение важной детали из диалога.

Оценка качества чат-ботов и голосовых помощников

Оценка консультации предоставленной чат-ботами и голосовыми помощниками складывается из точности и корректности определения намерения (интента), релевантности и полноты ответа, а также умения бота извлекать значимые факты из вопроса и учитывать их при предоставлении консультации. Итоговые рейтинги чат-ботов и голосовых роботов учитывают не только суммарную оценку предоставленных консультаций, но и ряд других параметров:

  • Возможность общаться в свободной форме
  • Умение переключаться между тематиками без потери контекста
  • Возможность перейти на оператора по запросу или после ошибки бота
  • Наличие кнопок-подсказок в чате, ускоряющих консультацию

Разбивка на группы

Для дальнейшего анализа все исследуемые организации разбиваются на группы. В качестве критерия отнесения к группе используются данные о размере чистых активов, размере собираемых страховых премий и размере выручки. В результате такой разбивки в каждой отрасли выделяются  3 группы:

Банки Размер чистых активов
1 группа более 1 трлн руб.
2 группа от 100 млрд до 1 трлн руб.
3 группа менее 100 млрд руб.

 

Страховые Объем собираемых премий (в год)
1 группа более 70 мдрд руб.
2 группа от 6 до 70 млрд руб.
3 группа менее 6 млрд руб.

 

Ритейлеры Годовой оборот
1 группа более 150 млрд руб.
2 группа от 45 до 150 млрд руб.
3 группа менее 45 млрд руб.