Метрики ЦКМ

Что мы будем измерять у агентов ЦКМ: по каждой метрике — что делим на что.

Это проект. Пороги и KPI появятся после первого замера.

Агенты и их метрики

Модуль продаж

исходящие звонки по продуктам банка
Воронка контакта
каждая ступень = дошедшие задачи / все назначенные, %
смотрим, на какой ступени просело — схема справа.
Конверсия в продукт
организации с подтверждённым новым продуктоморганизации в кампании с истёкшим окном ожидания→ %
«согласился, но подключение не подтверждено» — отдельная строка, не провал.
Обещанный шаг выполнен
обещания с подтверждённым выполнениемвсе обещания с истекшим сроком→ %
отдельно по видам: СМС, перезвон, заявка.
Прирост против контроля
конверсия группы с ботом − конверсия контрольной группы, в процентных пунктах
группы делятся случайно до звонков.
Назначили задачи
Дозвонились
Тот собеседник
Поговорили по делу
Договорились о шаге
Шаг выполнен

каждая ступень — % от назначенных задач

Агент персонализации

готовит персональный промпт до звонка
Данные дошли до разговора
каждый шаг = дошло / все подходящие задачи, %
четыре шага ниже; «получены» — из источника или кеша.
Факты не перепутаны
диалоги без ошибок в данных клиентапроверенные персонализированные диалоги→ %
чужие, устаревшие и недопустимые данные — это ошибка.
Заглушки во входе
звонки с заглушкой или пустым именемвсе звонки→ %
«Александр Сергеевич» вместо реального имени; тестовые звонки считаются отдельно.
Эффект персонализации
метрика персональной версии − метрика базовой версии
организации распределяются между версиями случайно до звонков; повторные звонки остаются в своей группе.
Данные получены
Данные пригодны
В фактическом промпте
Приём применён

на каждом шаге — % от подходящих задач; приём — аргумент, ветка или порядок вопросов, произносить сам атрибут необязательно

Агент итогов

ставит код разговора и передаёт итог в CRM
Код совпадает с человеком
коды, совпавшие с разметкой человекапроверенные диалоги→ %
выборку читает и размечает человек; точность смотрим по каждому коду отдельно.
Ложные успехи
коды «успех», не подтверждённые разметкойвсе проверенные диалоги с кодом «успех»→ %
отдельно считаем «успех вместо отказа» — самую опасную подмену.
Итог доехал до CRM
итоги, записанные к нужной задаче без дублейитоги к передаче с истекшим сроком доставки→ %
свежие диалоги без истёкшего срока не считаются потерянными.

Консьерж и встречи

входящие обращения и подтверждение встреч
Консьерж выполнил действие
поручения с подтверждённым правильным переводом или созданной задачей в срокпринятые поручения с истёкшим сроком→ %
это результат самого консьержа: его задача — правильно перевести или создать задачу.
Менеджер обработал обращение
переданные обращения, обработанные менеджером в срокпереданные обращения с истёкшим сроком обработки→ %
результат всего процесса — показываем рядом, не смешивая с работой консьержа.
Правильный адресат
передачи адресату по действующим правилам, включая резервноговсе передачи→ %
Встречи
Просьба понята верно
верно понятые и зафиксированные подтверждения, отмены и переносыслучаи, требовавшие такого действия→ %
Встречи состоялись
состоявшиеся встречиназначенные встречи с завершённым окном→ %
перенос не считается вторым успехом.

Общие показатели

Применяются к тем агентам и сценариям, где имеют смысл.

Техника

успешные операции / запрошенные, % — по каждой системе отдельно
пауза от конца реплики клиента до содержательного ответа: медиана и p95, секунды
внутренние агенты: время выполнения операции, медиана и p95

Разговор

диалоги с критической ошибкой / проверенные, %
разговор оборван не вовремя / проверенные, %

Клиент

организации с жалобой / все, с кем говорили, %
просьбы больше не звонить — счётчик, штуки за период

Деньги

затраты на группу задач / число задач группы = цена задачи, ₽
затраты на ту же группу, включая неуспехи / подтверждённые результаты группы = цена результата, ₽

Полнота данных

задачи с полным комплектом данных для расчёта / все назначенные, %
ловит звонки, целиком потерянные из выгрузки

Три правила счёта

Автоматика и человек

Что видно в логах — считает скрипт. Смысл (ошибки, неуместное завершение) проверяет человек или оценщик, сверенный с человеческой разметкой.

Доля, а не впечатление

У каждой доли — числитель, знаменатель, окно и неизвестные. Повторная попытка не создаёт новую задачу.

Эффект — только с контролем

Версии и польза сравниваются экспериментом с контрольной группой, а не «до и после».

Что дальше

  1. Согласовать смыслы: что означает каждый код завершения и где граница задачи агента.
  2. Собрать первый отчёт по модулю продаж — он уже работает.
  3. Заложить события в бэкенд, чтобы отчёт собирался автоматически.