Почему поиск явных и скрытых возражений дал полезные гипотезы, но увеличил субъективность и не определил одно действие для команды.
После первой попытки мы отказались от слишком общей категории “успешный звонок” и решили исследовать причины отказов.
Задача выглядела разумно:
- найти прямые возражения;
- определить скрытые барьеры;
- объединить их в группы;
- показать руководителю, почему клиенты не продолжают разговор и не соглашаются на встречу.
На этот раз мы действительно получили содержательный материал.
Но вместе с ним появилась новая проблема.
Один и тот же звонок разные люди могли объяснить по-разному.
Мы искали не только прямые, но и скрытые причины
Прямое возражение обычно можно подтвердить цитатой:
- “Сейчас не актуально”;
- “У нас уже есть подрядчик”;
- “Дорого”;
- “Напишите в мессенджер”;
- “Я не принимаю такие решения”.
Со скрытым возражением сложнее.
Фраза “пришлите информацию” может означать:
- реальный интерес;
- отсутствие времени;
- необходимость внутреннего согласования;
- попытку вежливо завершить разговор;
- отсутствие доверия;
- нежелание говорить по телефону.
Фраза “у нас всё работает” тоже допускает разные объяснения:
- потребности действительно нет;
- клиент доволен текущим подрядчиком;
- он не понимает ценность проверки;
- не хочет тратить время;
- боится изменений.
Чем дальше анализ уходил от буквального текста к предполагаемому мотиву, тем больше появлялось правдоподобных трактовок.
В одном разговоре было несколько реальных барьеров
Представим, что клиент говорит:
- сейчас нет бюджета;
- прошлый проект не дал ожидаемого результата;
- решение должен согласовать руководитель;
- вернуться к вопросу можно через месяц.
Какое возражение главное?
Цена?
Недоверие?
Полномочия?
Сроки?
Все четыре причины подтверждаются разговором.
Чтобы выбрать одну, нужно дополнительное правило:
- считать главным первое возражение;
- выбирать последнее перед завершением разговора;
- выбирать барьер, без устранения которого сделка не двигается;
- учитывать только прямую цитату;
- выбирать причину, которую менеджер не смог обработать.
У нас такого единого правила ещё не было.
Поэтому модель могла корректно найти несколько сигналов, но спорно выбрать главный.
Проверяющие тоже расходились
Несколько участников независимо проверяли AI-разборы.
В одних звонках они полностью соглашались с результатом.
В других AI находил реальный фрагмент, но человек иначе называл его смысл.
Например, система относила разговор к цене, а проверяющий видел более глубокую проблему ценности:
Клиент не столько считает предложение дорогим, сколько не понимает, за что должен платить.
В другом случае один специалист видел недоверие к компетенции подрядчика, а другой - техническое недовольство конкретным результатом прошлых работ.
Это не всегда означало, что модель ошиблась.
Иногда различались сами человеческие интерпретации.
Не каждый звонок вообще содержал коммерческое возражение
В общей массе были:
- попытки продажи;
- сервисные разговоры;
- техническая помощь;
- обсуждение текущих проектов;
- согласование документов;
- подтверждение уже достигнутых договорённостей.
Если применить один классификатор ко всем коммуникациям, система начнёт искать отказ там, где его не было.
Фраза “сейчас всё работает” в продающем звонке может означать отсутствие потребности.
В сервисном звонке та же фраза может означать успешное закрытие задачи.
Слова одинаковые.
Контекст разный.
Поэтому до анализа возражений нужно сначала определить:
- был ли звонок коммерческим;
- существовало ли предложение;
- мог ли клиент его принять;
- относится ли разговор к выбранному процессу.
Качество транскрибации ограничивало качество анализа
В части данных несколько минут разговора превращались в несколько коротких реплик.
На таком тексте нельзя надёжно установить:
- цель звонка;
- содержание предложения;
- реакцию клиента;
- итог разговора;
- причину отказа.
При этом модель всё равно могла сформировать связное объяснение.
Чем подробнее мы просили её описывать скрытые мотивы, тем выше был риск, что пробелы в данных заполнятся правдоподобной гипотезой.
Отсюда появилось правило:
Плохие входные данные нельзя исправить более убедительным промтом.
До анализа нужно проверить:
- соответствует ли объём текста длительности звонка;
- видны ли обе стороны;
- правильно ли определены роли;
- не потеряна ли середина разговора;
- можно ли понять фактический итог.
Проблема была не только в AI
Источники расхождений пришлось разделить.
Ошибка данных
- неполная транскрибация;
- неверное разделение спикеров;
- потерянный контекст.
Ошибка применимости
- сервисный звонок анализируется как продажа;
- техническое обращение считается отказом;
- предложение в разговоре вообще не звучало.
Ошибка критерия
- категории пересекаются;
- нет правила выбора главной причины;
- явное и скрытое смешиваются.
Ошибка модели
- значимый фрагмент пропущен;
- смысл восстановлен неверно;
- сделан неподтверждённый вывод.
Расхождение человеческих интерпретаций
- люди по-разному расставляют приоритеты;
- один смотрит на слова клиента;
- другой на экономическую причину;
- третий на действие менеджера.
Если всё объединить в одну цифру “точность AI”, мы не поймём, что именно нужно исправлять.
Анализ возражений оказался полезным исследованием
Он показал не только слова клиентов, но и проблемы процесса:
- задача уже решена;
- клиент ушёл к другому подрядчику;
- нет актуальной потребности;
- звонок происходит слишком поздно;
- сотрудник не знает историю клиента;
- предложение встречи не объяснено;
- следующий шаг остаётся неопределённым;
- в CRM есть дубли и устаревшие контакты.
Это было ценнее простой статистики “дорого” и “неактуально”.
Но для управления командой оставался вопрос:
Что конкретно должен начать делать менеджер иначе?
Карта причин не является планом действий.
Категория “уходит в мессенджер” может требовать разных решений:
- лучше объяснять ценность встречи;
- продавать в переписке;
- фиксировать точный срок возвращения;
- изменить формат предложения;
- выбирать другое время контакта.
Один сигнал - несколько возможных действий.
Мы начали отделять факт от гипотезы
Вместо вопроса:
Что клиент на самом деле имел в виду?
мы перешли к более проверяемой конструкции.
Факт
Клиент сказал:
“У нас уже есть подрядчик”.
Допустимая классификация
У клиента существует действующий поставщик услуги.
Гипотеза
Клиент боится менять подрядчика из-за риска потерять накопленный контекст.
Первое подтверждено цитатой.
Второе обычно можно обосновать.
Третье требует дополнительной проверки.
Чем выше уровень интерпретации, тем осторожнее должна быть формулировка.
Что мы сделали бы иначе сейчас
1. Сначала разделили бы звонки по типам
- продажа;
- сервис;
- техническая поддержка;
- действующий проект;
- документооборот;
- повторное касание.
2. Проверили бы полноту данных
До разработки классификатора.
3. Зафиксировали бы определение возражения
Не любое негативное высказывание относится к продаже.
Возражение должно быть связано с предложением, условиями или следующим шагом.
4. Разрешили бы несколько причин
Вместо принудительного выбора одной:
- основная причина;
- дополнительные причины;
- уровень уверенности;
- альтернативная трактовка.
5. Отделили бы цитату от гипотезы
В отчёте должно быть видно:
- что сказал клиент;
- как это классифицировано;
- почему выбрана категория;
- где начинается предположение.
6. Использовали бы такой отчёт сначала для исследования
Не для автоматической оценки сотрудников.
Сначала нужно найти повторяющиеся сигналы, обсудить их с владельцем процесса и выбрать один управленческий фокус.
Второй вывод серии
Анализ скрытых причин может быть полезен для исследования.
Но чем глубже интерпретация, тем сложнее обеспечить одинаковое понимание между моделью, руководителем и проверяющим.
Нам потребовалась более строгая конструкция:
- наблюдаемые действия;
- отдельные критерии;
- обязательные цитаты;
- правила пограничных случаев.
Так появилась рубрика из трёх критериев.
От анализа звонков к управляемому действию
- 10 Мы попросили AI отличить успешный звонок от неуспешного. Но сами не смогли показать ему разницу
- 20 Мы нашли десятки возражений клиентов. Управленческого ответа от этого больше не стало
- 30 Хороший промт начинается не с формулировок, а с правил оценки
- 40 Мы научились точнее оценивать звонки. Продажи от этого автоматически не изменились
- 50 Первые 30 звонков дали ноль. Проблема была не только в менеджерах
- 60 Мы перестали анализировать весь звонок и начали проверять один факт
- 70 Не начинайте с промта: как быстрее запустить AI-контроль звонков