Настоящее исследование состоит из 3 частей:

1. Телефонный обзвон
2. Исследование цифровых каналов
3. Исследование чат-ботов и голосовых роботов

Телефонный обзвон

В рамках этой части специально обученная группа операторов контакт-центра ГРАН в период с 25 февраля по 24 марта 2021 совершила более 4800 тестовых звонков в контактные центры 128 ведущих российских розничных торговых сетей, интернет-магазинов и маркетплейсов. В каждую организацию совершено от 30 до 50 контрольных звонков. Звонки совершались по рабочим дням в промежутке с 9.00 до 19.00 в равной пропорции в утренние, дневные и вечерние часы.

При установлении соединения операторам задавались контрольные вопросы нейтрального характера, например:

• Я потерял скидочную карту, номер, к сожалению, не помню, а приложением не пользуюсь. Можно ли ее восстановить  или нужно новую покупать?
• Можно ли продлить срок хранения товара в пункте самовывоза? На сколько дней?
• Может ли другой человек вместо меня оформить возврат товара? Что для этого нужно?
• Что делать, если не приходит смс-код при активации карты лояльности?
• Можно ли у вас заказать доставку лекарств, которые продаются по рецепту?

В итоговом отчете отражены результаты каждого звонка, в т.ч.:

• Дата, время звонка
• Время постановки в очередь на оператора
• Время соединения с оператором
• Общая продолжительность соединения
• Какой вопрос был задан
• Был ли получен ответ

Консультации, полученные с помощью голосовых роботов и ivr-скриптов, засчитывались так же, как если бы нас обслужил оператор.

На основе собранной статистики рассчитаны агрегированные показатели доступности и качества обслуживания телефонных обращений.

Исследование цифровых каналов

С 1 по 30 апреля наши специалисты проверяли наличие цифровых каналов у ритейлеров и оценивали качество обслуживания в них. Исследование охватило чаты на сайтах и в мобильных приложениях, мессенджеры Telegram, WhatsApp и Viber, а также социальные сети «ВКонтакте», Facebook, Instagram и «Одноклассники».

В тех каналах ритейлеров, которые были доступны для обращения, в разные дни было сделано по 2 попытки получить консультацию. Операторам задавали один основной вопрос и один дополнительный в соответствии со спецификой деятельности компании. Например:

• У вас есть подарочные сертификаты? Какой максимальный и минимальный номинал?
• Как узнать, сколько баллов у меня на карте лояльности? А по какому принципу они начисляются?
• Можно ли перенести доставку в личном кабинете? А можно ли вообще ее отменить, если она уже на завтра?

Итоговая оценка обслуживания складывалась из качества и полноты предоставленной консультации, скорости ответа на основной вопрос, наличия ответа на дополнительный вопрос, а также уровня культуры речи. На основе агрегированной статистики строился рейтинг обслуживания в цифровых каналах и отдельные рейтинги по уровню сервиса в мессенджерах и социальных сетях.

Исследование чат-ботов и голосовых роботов

С 1 по 30 апреля наши специалисты фиксировали наличие чат-ботов в цифровых каналах (чатах на сайте, мессенджерах, социальных сетях), а также голосовых роботов на входящих линиях контакт-центров. Обнаруженных диалоговых роботов мы исследовали отдельно с целью оценить качество их работы. Каждому роботу мы задали 8 простых вопросов, например:

• Сколько обычно хранятся товары в пункте выдачи?
• Как оформить возврат заказа?
• Как активировать карту лояльности?
• Какие условия доставки по Москве в пределах МКАД?

Оценка консультации складывалась из точности и корректности определения намерения (интента) клиента, релевантности и полноты ответа, а также умения бота извлекать значимые факты из вопроса и учитывать их при предоставлении консультации.

Итоговые рейтинги чат-ботов и голосовых роботов учитывают не только суммарную оценку предоставленных консультаций, но и ряд других параметров:

• возможность общаться в свободной форме,
• применение кнопок-подсказок в диалоге (для чат-ботов),
• возможность перебивания (для голосовых ботов),
• готовность перевести диалог на оператора по запросу и после допущения ботом ошибки,
• умение переключаться между тематиками обслуживания, сохраняя контекст.

 

Разбивка на группы

Для дальнейшего анализа и корректного сравнения результатов ритейлеры разделены на группы. В качестве критерия разбивки использованы открытые данные о размере выручки по итогам первого полугодия 2020. В результате выделены 3 группы:

1 группа