Практический план запуска AI-анализа звонков: управленческий вопрос, выборка, критерий, ручная разметка, калибровка, исходный замер и короткий спринт.

Мы потратили несколько месяцев, чтобы пройти путь от общего запроса:

Почему клиенты не покупают?

до конкретного управленческого вопроса:

Предлагает ли менеджер бесплатный аудит в подходящем разговоре с бывшим клиентом?

Между этими формулировками было несколько итераций.

Мы пытались:

  • разделить звонки на успешные и неуспешные;
  • найти явные и скрытые возражения;
  • определить главную причину отказа;
  • оценить разговор по нескольким критериям;
  • сформировать рекомендации для менеджеров;
  • связать действия команды со встречами и договорами.

Каждый этап дал полезное знание.

Но следующему проекту необязательно повторять весь путь в той же последовательности.

В этой статье я соберу сокращённый маршрут, по которому запускал бы AI-анализ коммуникаций сейчас.

Это не универсальная методология и не обещание роста продаж.

Это практический план, собранный из проекта, где нам несколько раз пришлось менять вопрос, выборку и критерий.

Коротко об итоговом результате

Компания хотела активнее возвращать клиентов, с которыми раньше уже работала.

В качестве одного из следующих шагов клиентам стали предлагать бесплатный аудит ранее внедрённых решений.

Платформа показывала:

  • прозвучало ли предложение;
  • как отреагировал клиент;
  • о чём договорились;
  • какие разговоры требуют проверки руководителя.

За период около трёх недель в публичной версии кейса были зафиксированы:

  • более 120 звонков;
  • 49 предложений аудита;
  • 9 встреч;
  • 5 договоров на ежемесячное обслуживание;
  • 200 000 рублей общей стоимости договоров.

Главный итог для меня находится не только в цифрах.

Появилась наблюдаемая цепочка:

подходящий звонок - действие менеджера - реакция клиента - встреча - коммерческий результат.

До этого мы преимущественно анализировали разговоры.

После этого анализ стал частью управленческого цикла.

Почему путь получился длинным

Не был определён конкретный результат

Слово “успешный” могло означать:

  • содержательный разговор;
  • выясненную причину;
  • назначенную встречу;
  • новую задачу;
  • договор;
  • оплату.

Пока компания не выбрала конкретное событие, AI мог использовать только обобщённое понимание успеха.

Анализировались звонки, а примеры давались на уровне CRM-карточек

В одной карточке находилось несколько коммуникаций.

Финальный статус относился ко всей истории, но не показывал, какой именно разговор является эталонным.

Слишком рано начали искать скрытые причины

Один человек видел цену.

Другой видел недостаток ценности.

Третий видел недоверие после прошлого опыта.

Каждый мог опираться на реальный фрагмент разговора.

Смешивались разные типы коммуникаций

В общей массе находились продажи, сервис, технические вопросы, действующие проекты и неполные звонки.

Один критерий не мог одинаково применяться ко всем ситуациям.

Недостаточно рано проверили транскрибации

Если несколько минут разговора представлены несколькими репликами, никакой сложный промт не восстановит надёжный факт.

Слишком долго улучшали анализ всего разговора

Рубрика становилась точнее, но руководителю всё равно нужно было выбрать одно действие для ближайшего цикла.

Фильтры менялись уже после запуска

Каждое уточнение улучшало смысл отчёта, но делало периоды менее сопоставимыми.

Главный вывод всей серии

Мы начали с вопроса:

Что не так с нашими звонками?

Для первого операционного цикла он слишком широкий.

Сейчас я бы начал так:

Какое одно действие сотрудник должен выполнять в конкретном типе коммуникаций и какое следующее событие мы ожидаем после этого?

В другом бизнесе таким действием может быть:

  • предложение дополнительного товара;
  • фиксация даты следующего контакта;
  • уточнение причины отмены;
  • предложение повторной записи;
  • сообщение обязательного условия договора;
  • согласование следующего этапа проекта.

Задача не в том, чтобы повторить критерий аудита.

Задача в том, чтобы выбрать наблюдаемое действие, полезное для конкретного управленческого решения.

Сокращённый план запуска

Шаг 1. Сформулировать управленческий вопрос

Слабые формулировки:

  • проанализировать продажи;
  • найти ошибки менеджеров;
  • понять причины отказов;
  • оценить качество звонков;
  • повысить конверсию.

Они описывают направление исследования, но не решение.

Рабочая формулировка:

Нужно понять, предлагают ли менеджеры аудит бывшим клиентам, которым такое предложение уместно.

В хорошем вопросе уже видны:

  • сотрудники;
  • тип коммуникации;
  • ситуация;
  • действие;
  • ожидаемое продолжение.

Шаг 2. Назначить владельца критерия

Нужен человек, который может решить:

  • что считается выполнением;
  • где действие уместно;
  • какие случаи являются исключениями;
  • что команда должна делать после сигнала.

Обычно это руководитель отдела или владелец процесса.

Команда внедрения помогает формализовать критерий.

Но не должна определять его бизнес-смысл вместо клиента.

Шаг 3. Выбрать один контур

Не нужно начинать со всех коммуникаций компании.

Первый контур может быть таким:

  • только исходящие звонки;
  • только бывшие клиенты;
  • только компании с подтверждённой историей;
  • только одна команда;
  • только определённый период.

Чем однороднее выборка, тем понятнее вывод.

Шаг 4. Определить объект анализа

Нужно решить, что именно оценивается:

  • отдельная реплика;
  • один звонок;
  • цепочка звонков;
  • сделка;
  • вся история клиента.

Если анализируется звонок, нельзя автоматически переносить на него итог всей сделки.

Если нужно проверить путь до денег, потребуются дополнительные данные из CRM, встреч, задач и оплат.

Шаг 5. Разделить три уровня результата

Действие сотрудника

Что менеджер сделал в разговоре?

Реакция клиента

Как клиент ответил?

Бизнес-результат

Что произошло позднее?

В нашем проекте:

  • менеджер предложил аудит;
  • клиент согласился;
  • появилась встреча;
  • после части работы появились договоры.

Эти уровни связаны, но не равны друг другу.

Шаг 6. Проверить качество данных

До разработки промта нужно вручную открыть небольшую выборку.

Проверить:

  • полностью ли загружены разговоры;
  • соответствует ли текст длительности;
  • видны ли обе стороны;
  • правильно ли определены роли;
  • нет ли дублей;
  • есть ли связь с CRM;
  • можно ли понять итог.

Если данные неполные, правильный вывод звучит так:

По этой выборке пока нельзя надёжно оценивать выбранное действие.

Шаг 7. Подготовить применимую выборку

Нужно заранее ответить:

В каких разговорах сотрудник действительно должен выполнять выбранное действие?

В нашем случае нельзя было смешивать:

  • бывших клиентов;
  • контакты без истории;
  • действующих клиентов;
  • сервисные звонки;
  • недавние повторные контакты.

До запуска определяются признаки включения и исключения.

Например, контакт включается, если:

  • есть подтверждённая история работы;
  • понятен предмет предыдущего взаимодействия;
  • нет активного проекта;
  • не было недавнего содержательного звонка;
  • найден релевантный собеседник.

Шаг 8. Определить одно наблюдаемое действие

Не:

Менеджер хорошо выявил потребность.

А:

Менеджер получил от клиента конкретное описание задачи, риска или потери.

Не:

Менеджер дожал клиента.

А:

Менеджер предложил следующий шаг и согласовал дату, время и формат.

Критерий должен позволять двум людям независимо проверить один и тот же факт.

Шаг 9. Описать неприменимые случаи

Без статуса N/A показатель быстро искажается.

Оценка не ставится, если:

  • разговор сервисный;
  • звонок прервался;
  • транскрипция неполная;
  • действие противоречило бы контексту;
  • разговор шёл с нерелевантным человеком;
  • клиент сам инициировал следующий шаг;
  • текущий проект уже включает предлагаемую услугу.

N/A не означает отсутствие работы менеджера.

Он означает, что выбранный критерий нельзя честно применить.

Шаг 10. Подготовить ручную разметку

Владелец процесса проверяет 20-30 разговоров.

Для каждого фиксирует:

  • применимость;
  • выполнение действия;
  • подтверждающую цитату;
  • реакцию клиента;
  • последующий результат;
  • основание решения.

В выборке должны быть:

  • очевидные выполнения;
  • очевидные невыполнения;
  • частичные случаи;
  • N/A;
  • спорные примеры.

Пограничные случаи полезнее идеальных, потому что показывают недостатки определения.

Шаг 11. Проверить согласованность людей

Те же разговоры независимо оценивают минимум два участника.

Если люди часто расходятся, рано измерять точность AI.

Сначала нужно найти источник:

  • плохие данные;
  • неясное правило;
  • пересекающиеся категории;
  • разное понимание результата;
  • спорная применимость.

Промт не устранит неоднозначность, существующую между людьми.

Шаг 12. Собрать рубрику

Для критерия нужны:

  • бизнес-смысл;
  • наблюдаемые признаки;
  • положительный пример;
  • отрицательный пример;
  • частичное выполнение;
  • условия N/A;
  • обязательное доказательство.

Для сложной оценки можно использовать 0, 0.5 и 1.

Для первого операционного цикла часто достаточно:

  • выполнено;
  • не выполнено;
  • неприменимо.

Шаг 13. Только теперь написать промт

Промт должен передать уже согласованное правило.

В него входят:

  • контекст;
  • тип коммуникации;
  • роли;
  • критерий;
  • исключения;
  • формат ответа;
  • обязательные цитаты;
  • запрет на домысливание.

Правильная последовательность:

правило - примеры - ручная проверка - промт.

Не наоборот.

Шаг 14. Откалибровать AI на новой выборке

Для каждого расхождения определяется причина.

Ошибка данных

В транскрипции нет нужного фрагмента.

Ошибка применимости

Критерий применён к неподходящему разговору.

Ошибка определения

Люди по-разному понимают правило.

Ошибка модели

Фрагмент есть, правило понятно, но вывод неверный.

Пограничный случай

Правило не описывает ситуацию.

После разбора не всегда нужно переписывать промт.

Иногда нужно изменить фильтр, данные или само определение.

Шаг 15. Зафиксировать исходный уровень

До обучения и обратной связи измеряется базовый период.

Например:

  • количество применимых звонков;
  • количество выполнений;
  • реакции клиентов;
  • назначенные следующие шаги;
  • коммерческое продолжение.

Без исходного уровня нельзя корректно говорить, что показатель изменился.

Шаг 16. Объяснить эксперимент команде

Сотрудники должны понимать:

  • какую задачу решает эксперимент;
  • почему выбран этот критерий;
  • где он применим;
  • где действие выполнять не нужно;
  • как может звучать предложение;
  • как руководитель будет использовать результат.

Иначе AI-контроль воспринимается как скрытая система оценки и вызывает формальное поведение.