Настоящее исследование состоит из 3 частей:
- Телефонный обзвон
- Исследование цифровых каналов
- Исследование чат-ботов и голосовых роботов
Телефонный обзвон
В рамках этой части специально обученная группа операторов контакт-центра ГРАН в период с 25 февраля по 24 марта 2021 совершила более 4800 тестовых звонков в контактные центры 128 ведущих российских розничных торговых сетей, интернет-магазинов и маркетплейсов. В каждую организацию совершено от 30 до 50 контрольных звонков. Звонки совершались по рабочим дням в промежутке с 9.00 до 19.00 в равной пропорции в утренние, дневные и вечерние часы.
При установлении соединения операторам задавались контрольные вопросы нейтрального характера, например:
- Я потерял скидочную карту, номер, к сожалению, не помню, а приложением не пользуюсь. Можно ли ее восстановить или нужно новую покупать?
- Можно ли продлить срок хранения товара в пункте самовывоза? На сколько дней?
- Может ли другой человек вместо меня оформить возврат товара? Что для этого нужно?
- Что делать, если не приходит смс-код при активации карты лояльности?
- Можно ли у вас заказать доставку лекарств, которые продаются по рецепту?
В итоговом отчете отражены результаты каждого звонка, в т.ч.:
- Дата, время звонка
- Время постановки в очередь на оператора
- Время соединения с оператором
- Общая продолжительность соединения
- Какой вопрос был задан
- Был ли получен ответ
Консультации, полученные с помощью голосовых роботов и ivr-скриптов, засчитывались так же, как если бы нас обслужил оператор.
На основе собранной статистики рассчитаны агрегированные показатели доступности и качества обслуживания телефонных обращений.
Исследование цифровых каналов
С 1 по 30 апреля наши специалисты проверяли наличие цифровых каналов у ритейлеров и оценивали качество обслуживания в них. Исследование охватило чаты на сайтах и в мобильных приложениях, мессенджеры Telegram, WhatsApp и Viber, а также социальные сети «ВКонтакте», Facebook, Instagram и «Одноклассники».
В тех каналах ритейлеров, которые были доступны для обращения, в разные дни было сделано по 2 попытки получить консультацию. Операторам задавали один основной вопрос и один дополнительный в соответствии со спецификой деятельности компании. Например:
- У вас есть подарочные сертификаты? Какой максимальный и минимальный номинал?
- Как узнать, сколько баллов у меня на карте лояльности? А по какому принципу они начисляются?
- Можно ли перенести доставку в личном кабинете? А можно ли вообще ее отменить, если она уже на завтра?
Итоговая оценка обслуживания складывалась из качества и полноты предоставленной консультации, скорости ответа на основной вопрос, наличия ответа на дополнительный вопрос, а также уровня культуры речи. На основе агрегированной статистики строился рейтинг обслуживания в цифровых каналах и отдельные рейтинги по уровню сервиса в мессенджерах и социальных сетях.
Исследование чат-ботов и голосовых роботов
С 1 по 30 апреля наши специалисты фиксировали наличие чат-ботов в цифровых каналах (чатах на сайте, мессенджерах, социальных сетях), а также голосовых роботов на входящих линиях контакт-центров. Обнаруженных диалоговых роботов мы исследовали отдельно с целью оценить качество их работы. Каждому роботу мы задали 8 простых вопросов, например:
- Сколько обычно хранятся товары в пункте выдачи?
- Как оформить возврат заказа?
- Как активировать карту лояльности?
- Какие условия доставки по Москве в пределах МКАД?
Оценка консультации складывалась из точности и корректности определения намерения (интента) клиента, релевантности и полноты ответа, а также умения бота извлекать значимые факты из вопроса и учитывать их при предоставлении консультации.
Итоговые рейтинги чат-ботов и голосовых роботов учитывают не только суммарную оценку предоставленных консультаций, но и ряд других параметров:
- возможность общаться в свободной форме,
- применение кнопок-подсказок в диалоге (для чат-ботов),
- возможность перебивания (для голосовых ботов),
- готовность перевести диалог на оператора по запросу и после допущения ботом ошибки,
- умение переключаться между тематиками обслуживания, сохраняя контекст.
Разбивка на группы
Для дальнейшего анализа и корректного сравнения результатов ритейлеры разделены на группы. В качестве критерия разбивки использованы открытые данные о размере выручки по итогам первого полугодия 2020. В результате выделены 3 группы:
1 группа