Когда AI ошибается, команда получает повод не верить системе

Внедрение AI в отдел продаж ломается не тогда, когда модель один раз ошиблась.

Ошибки неизбежны.

Оно ломается тогда, когда команда начинает воспринимать каждую ошибку как доказательство, что всей системе нельзя верить.

И это очень тонкий момент.

Потому что руководитель может видеть пользу. Собственник может видеть потенциал. Мы можем понимать, что в среднем система хорошо подсвечивает паттерны. Но менеджеру достаточно одного спорного звонка, чтобы сказать:

“Вот видите, нейросеть не понимает, как мы продаём”.

После этого разговор смещается.

Мы уже обсуждаем не поведение менеджера, не гипотезу, не следующий шаг, а право системы вообще давать оценку.

Гипотеза

На старте у нас была гипотеза:

если AI будет оценивать звонки по согласованному критерию, команда быстрее примет объективную обратную связь, потому что оценка не зависит от настроения руководителя.

В этой гипотезе была логика.

Ручная оценка часто воспринимается субъективно.

“РОП ко мне придирается”. “ОКК не понимает, как было в разговоре”. “Мне поставили ниже, потому что у меня конфликт с руководителем”. “Другому менеджеру за такое же поставили лучше”.

AI вроде бы должен снизить этот спор.

Он смотрит по правилам. Не устает. Не имеет любимчиков. Не раздражается. Не оценивает интонацию через личные отношения.

Но на практике всё сложнее.

Потому что AI не просто должен быть объективным.

Он должен быть понятным.

Почему ошибка AI опаснее ошибки человека

Когда ошибается человек, с ним можно поговорить.

Он может объяснить. Можно поспорить. Можно сказать: “ты не услышал контекст”. Можно открыть запись, переслушать, договориться.

Когда ошибается AI, у менеджера возникает другое ощущение.

“Меня оценивает машина, которая не понимает реальность”.

Даже если это не так, эмоционально это воспринимается именно так.

Особенно в продажах, где каждый звонок имеет контекст.

Клиент мог быть нецелевой. Клиент мог сам перебивать. Клиент мог не дать ответ. Клиент мог звонить не за покупкой, а просто мониторить. Клиент мог быть на слишком ранней стадии. Менеджер мог знать что-то из CRM, чего нет в звонке. Или наоборот - менеджер мог действительно пропустить важный шаг, но считает, что “и так было понятно”.

AI слышит только то, что есть в коммуникации и что ему разрешили учитывать.

И если правила не объяснены, менеджер начинает спорить не с оценкой, а с самой идеей оценки.

Как это проявилось в проекте

Когда мы начали оценивать звонки, появились пограничные случаи.

Менеджер вроде бы сказал про замер, но не зафиксировал следующий шаг. AI ставит не 1, а 0,5.

Менеджер считает, что он сделал достаточно.

И в какой-то степени он прав: он действительно что-то сделал.

Но с точки зрения нового критерия этого недостаточно.

Другой пример: клиент сам не дал возможности перейти к нужному этапу. Или звонок оказался не тем типом обращения, который нужно оценивать. Или в разговоре была информация, но AI неверно понял её значимость.

Такие случаи нельзя просто отмахивать фразой “система знает лучше”.

Это худшая позиция.

Если мы хотим доверия, система должна выдерживать спор.

Что пришлось менять

Мы стали добавлять объяснение оценки.

Не просто “0,5 балла”.

А почему.

Что было сделано хорошо. Что не хватило до 1 балла. Какой фрагмент разговора это подтверждает. Что можно было сказать иначе. Почему в этом звонке критерий применим или не применим.

Это важный сдвиг.

Оценка без объяснения - это приговор.

Оценка с объяснением - это материал для обучения.

Потом появилась ещё одна важная часть: комментарии менеджеров.

Если менеджер не согласен, он должен не просто эмоционально отвергнуть оценку, а написать, почему. Что система не учла. Где контекст другой. Почему звонок не должен был попадать в оценку. Почему клиент был нецелевым. Почему этап объективно не требовался.

Это создаёт другой режим работы.

AI не становится непогрешимым судьёй.

AI становится первым аналитиком, с которым команда и руководитель калибруют правила.

Что увидел клиент

Для клиента это тоже непростая зона.

С одной стороны, клиент хочет объективности. Ему важно видеть, как менеджеры реально работают, а не только слушать оправдания.

С другой стороны, если менеджеры массово не доверяют оценке, внедрение тормозится.

Руководитель оказывается между двух рисков.

Если защищать AI любой ценой, команда уйдёт в сопротивление.

Если соглашаться с каждым спором менеджера, система потеряет силу.

Нужна третья позиция.

“Мы не считаем, что AI всегда прав. Но мы считаем, что критерий важен. Поэтому спорим не эмоциями, а фактами. Если система ошиблась - поправим. Если система права - меняем поведение”.

Это зрелая позиция.

И её нужно проговаривать команде заранее.

Почему это не техническая проблема

На поверхности кажется, что проблема в модели.

Надо лучше промт. Надо точнее инструкцию. Надо больше примеров. Надо дообучить. Надо улучшить распознавание. Надо убрать галлюцинации.

Всё это нужно.

Но это только часть проблемы.

Главный вопрос не технический, а управленческий:

как команда принимает новую форму обратной связи?

Если внутри компании нет договорённости, что мы проверяем, зачем проверяем и как спорим с оценкой, даже хорошая модель будет вызывать сопротивление.

А если договорённость есть, даже спорные оценки могут стать полезными.

Потому что каждый спор уточняет критерий.

Что видел я как основатель

Здесь для меня было важно не уйти в удобную позицию “менеджеры саботируют”.

Да, иногда менеджер действительно защищается.

Да, иногда он ищет ошибку системы, чтобы не менять своё поведение.

Да, иногда комментарий - это не попытка разобраться, а попытка снять с себя ответственность.

Но если быть честным, часть сопротивления мы сами можем спровоцировать плохой подачей.

Если мы включили AI-оценку без ясного эталона, без объяснения, без права на корректный спор, без первой калибровочной недели, то недоверие команды закономерно.

Мне не хочется строить продукт, которому нужно верить на слово.

Я хочу продукт, который можно проверить.

Который показывает, почему он сделал вывод. Который допускает корректировку. Который помогает руководителю разговаривать с командой не с позиции “машина сказала”, а с позиции “вот критерий, вот факт, вот что меняем”.

Почему ошибки могут быть полезны

Парадоксально, но спорные оценки могут улучшить внедрение.

Если правильно с ними работать.

Они показывают, где критерий неясен. Где AI не хватает контекста. Где звонки нужно исключать из оценки. Где менеджеры по-разному понимают “успешное действие”. Где руководитель сам не до конца сформулировал эталон.

То есть ошибка становится не провалом, а материалом для настройки системы.

Но только если она не замалчивается.

Если спорные случаи прячутся, доверие падает.

Если спорные случаи разбираются, доверие растёт.

Что нужно делать в таких внедрениях

Я бы теперь закладывал это в методологию сразу.

Перед запуском оценки нужно сказать команде:

“Система будет ошибаться. Это нормально. Наша задача в первую неделю - не наказать вас, а откалибровать критерий. Если не согласны, пишите комментарий. Но комментарий должен быть по сути: что именно не учтено. Мы будем разбирать спорные случаи и уточнять правила”.

Это меняет тон внедрения.

Команда понимает, что её не поставили перед автоматическим судом.

Но одновременно команда понимает, что критерий не исчезнет только потому, что кто-то эмоционально не согласен.

Вывод для клиента

Если вы внедряете AI-оценку звонков, не обещайте команде, что система идеальна.

Обещайте другое:

критерий будет понятным; оценка будет объясняться; спорные случаи будут разбираться; правила можно уточнять; цель - не наказать, а изменить конкретное поведение.

Это сильно снижает сопротивление.

И главное - переводит разговор из плоскости “AI прав или не прав” в плоскость “какое поведение мы считаем правильным”.

Вывод для нас

Мы должны проектировать не только анализ, но и доверие к анализу.

Для этого продукту нужны:

обоснование оценки; понятная шкала; фрагменты, на которых строится вывод; возможность комментария; процесс калибровки; режим первой недели без жёстких управленческих санкций; правила исключения нерелевантных звонков.

AI в продажах не должен быть чёрным ящиком.

Иначе он не ускоряет управление.

Он создаёт новый конфликт.

Следующий вопрос

После того как стало понятно, что широкая оценка перегружает, а AI требует доверия, нужно было выбрать первый узкий фокус.

Так появился следующий вопрос:

какое поведение менеджера достаточно конкретно, чтобы его можно было честно оценивать и тренировать?

Мы выбрали закрытие на замер или фото/видео проёма.