Оценка эффективности чат-ботов: 16 ключевых показателей для отслеживания

Количественные показатели эффективности: достаточно ли активно используется ваш чат-бот и отвечает ли он потребностям пользователей?

Количественные ключевые показатели эффективности позволяют вам оценить работу вашего чат-бота и то, как он используется целевой аудиторией.

1. Количество обращений

Количество обращений — это число взаимодействий с чат-ботом, включая как сами факты запросов, так и содержательные диалоги. Этот показатель помогает ответить на два основных вопроса.

• Часто ли используется чат-бот?
• Увеличивается ли количество его пользователей?

Целенаправленное или ответное использование?

Использование можно разделить на два типа: 

1. Целенаправленное: пользователи сами инициируют взаимодействие с вашим чат-ботом.
2. Ответное: пользователи инициируют взаимодействие с вашим чат-ботом после получения уведомления. 

Количество целенаправленных обращений является отличным показателем популярности вашего виртуального помощника. Он также позволяет понять, какую роль он играет в обслуживании клиентов.

2. Количество отказов

Количество отказов — это число взаимодействий, не приведших к нужному результату в плане ответов на специализированные запросы. Высокий показатель указывает на то, что с вашим ботом не консультируются по вопросам, относящимся к его компетенции. Это должно побудить вас обновить содержательную часть диалогов, пересмотреть место чат-бота в системе обслуживания клиентов или и то, и другое. За этим показателем следует внимательно следить.

3. Коэффициент удержания пользователей 

Коэффициент удержания — это число пользователей, неоднократно обращавшихся к вашему чат-боту за определённый период времени. Этот показатель можно сравнить со средней частотой контактов с клиентами в вашей конкретной сфере деятельности. Он представляет собой хороший индикатор нужности вашего чат-бота и уровня его признания со стороны клиентов.

4. Количество параллельных использований 

Это количество одновременно открытых сеансов вашего чат-бота. Чтобы получить точные сведения, этот показатель необходимо сопоставить со средним количеством открытых сеансов за определённый период.

5. Время использования со стороны целевой аудитории

Этот показатель необходим для оценки степени достижения намеченных целей. Если вы ориентируетесь на определённую аудиторию, вы можете измерить уровень её вовлечённости и посмотреть, насколько активно она использует вашего чат-бота. Если этот показатель низкий, необходимо переосмыслить свои подходы к управлению изменениями или повышению качества обслуживания клиентов, чтобы привлечь внимание пользователей.

6. Количество ответов

Этот конкретный показатель количества запросов, на которые ответил ваш чат-бот.

7. средняя продолжительность диалога 

Этот показатель позволяет вам оценить среднюю продолжительность взаимодействия между вашим чат-ботом и его пользователями. Это значение может существенно варьироваться: чат-бот, решающий проблемы с компьютером или дающий советы, требует гораздо более длительного диалога, чем тот, который всего лишь показывает текущее время в различных городах мира. Если вашей целью является повышение эффективности, этот ключевой показатель поможет вам количественно оценить время, сэкономленное как вашими клиентами, так и службой поддержки.

8. Наиболее активные часы

В какое время суток пользователи чаще всего обращаются к вашему чат-боту? Этот показатель весьма полезен, поскольку позволяет понять, что круглосуточный канал покрывает, скажем, 20, 30 или даже 50 процентов тех часов, в течение которых ваша служба поддержки недоступна.

9. Среднее количество вопросов для решения одной проблемы

Чем больше вопросов задают пользователи, тем больше времени занимает получение адекватных ответов. Этот показатель поможет вам определить, сколько вопросов необходимо задать вашему чат-боту, прежде чем он окажется способен предоставить необходимую пользователю информацию. Однако его интерпретация в значительной степени зависит от ваших конкретных целей.

10. Активность взаимодействия

Если вы хотите оценить вовлечённость пользователей в использование чат-бота, вам непременно стоит обратить внимание на этот показатель. Это среднее количество сообщений за один диалог.

11. Скорость реакции на призыв к действию 

Этот показатель позволяет вам оценить степень успешности выполнения того или иного призыва к действию в вашем чат-боте, например, нажатия на определённую кнопку или ссылку, заполнения формы, совершения покупки и т.д. Однако он применим лишь к чётко определённым действиям, для которых уже имеются индивидуальные показатели.

12. Частота отсутствия ответа

Этот показатель фиксирует количество раз, когда ваш чат-бот не отвечает на вопрос. Подобный сбой может быть результатом недостатка информации или трудностей с пониманием запросов пользователей.

13. Наиболее часто задаваемые вопросы

С какими запросами чаще всего обращаются к вашему чат-боту? Благодаря подобной статистике вы сможете адаптировать своего чат-бота к наиболее часто встречающимся проблемам и тем самым повысить его производительность. Анализ повторяющихся запросов поможет вам в деле улучшения чат-бота, позволяя сосредоточиться на темах, представляющих наибольший интерес для пользователей, и механизмах, позволяющих улучшить качество ответов и общий уровень его понимания виртуального помощника.

Чтобы правильно интерпретировать приведённые выше количественные показатели эффективности, их необходимо сравнить с другими данными, в частности с количеством звонков и результатами, полученными по другим каналам. Это может быть, скажем, количество диалогов в чат-боте по сравнению с количеством телефонных звонков, соответствующая степень удовлетворённости клиентов и т.д. Эти данные позволят вам оценить позиционирование вашего чат-бота и определить, уместен ли он, и адекватны ли его советы.

Качественные показатели эффективности: удовлетворены ли пользователи вашего чат-бота? 

Помимо количественных аспектов, актуален также вопрос качества. Приведённые ниже ключевые показатели эффективности помогут вам оценить эффективность вашего чат-бота с человеческой точки зрения, включая уровень его понимания, предоставляемую помощь, и уровень удовлетворённости пользователей.

14. Уровень понимания 

Необходимо отслеживать, насколько хорошо ваш чат-бот понимает запросы пользователей. Его уровень понимания постоянно развивается, так как зависит от:

• Самих заданных вопросов.
• Имеющейся базы знаний.

Если ваш чат-бот не понимает тот или иной запрос, это происходит либо потому, что сам запрос бессмысленный, либо потому, что он не обладает знаниями в соответствующей области. Так, например, чат-бот, специализирующийся на компьютерной помощи, не поймёт вопроса юридического характера.

15. Количество самостоятельно решённых вопросов 

Этот показатель соответствует количеству пользователей, которые смогли получить необходимую им помощь с помощью ответов, предоставленных вашим чат-ботом, без необходимости впоследствии обращаться в службу поддержки. Он рассчитывается на основе процента успешных диалогов без перенаправления к сотруднику. Он также позволяет вам оценить степень удовлетворённости клиентов. Этот показатель является аналогом процента решённых проблем в ходе первого же звонка по телефонной линии и весьма важен для оценки рентабельности инвестиций в ваш чат-бот.

16. Отзывы пользователей 

Наконец, важно знать, что сами пользователи думают о вашем чат-боте. Предоставляет ли он достаточную помощь? Довольны ли взаимодействующие с ним? Есть два разных способа это выяснить:

• Просто попросить пользователей ответить «да» или «нет» на вопрос «Были ли вы удовлетворены?»
• Предложить пользователям заполнить более подробную анкету для получения конкретной информации (например, «Были ли ответы понятными?» «Всё ли вы поняли?» или «Есть ли у вас какие-либо предложения по улучшению нашего чат-бота?»).

Подобные отзывы позволят вам рассчитать ещё два показателя:

• Уровень удовлетворённости клиентов, т.е. средний балл, полученный вашим чат-ботом со стороны пользователей.
• Количество оценок, т.е. процент диалогов, в ходе которых пользователь хотя бы единожды оценивал ответы вашего бота.

Эти качественные показатели эффективности должны регулярно измеряться и анализироваться в долгосрочной перспективе. Это позволит вам увидеть, как меняется уровень удовлетворённости клиентов, определить, всегда ли повторяющиеся вопросы одни и те же, и многое другое.

Однако знание всех шестнадцати ключевых показателей важно для оценки эффективности вашего чат-бота. Тем не менее наиболее подходящие из них не всегда одинаковы для каждой компании или чат-бота: вам предстоит решить, какие из них наиболее адекватны, исходя из вашей сферы деятельности, целей и потребностей пользователей.