В этом проекте 26 критериев не являются финальным стандартом оценки. Это первая рабочая карта: сначала посмотреть большой массив звонков, найти просадку или неопределённость по конкретной группе и только потом глубоко калибровать выбранные критерии.

Клиент из таксопарка прислал нормальный рабочий чек-лист звонка.
Приветствие, выявление потребности, опыт работы, стаж, гражданство, возраст, ИП или самозанятость, информация по КИС АРТ, презентация услуги, работа с возражениями, следующий шаг, запись на встречу, подведение итогов, подстройка под клиента и инициатива менеджера.

Для руководителя такой список понятен. Проблема появляется в момент, когда по нему нужно одинаково проверить большой массив реальных разговоров и получить не впечатление от звонка, а данные для управления.

Например, что означает пункт “есть ли опыт работы”?
Менеджер обязан задать отдельный вопрос про опыт или достаточно, чтобы клиент сам сказал: “Я уже пять лет работаю в такси”?

А что конкретно означает “дал аргументированный ответ”?
Где проходит граница между нормальной презентацией и ситуацией, когда менеджер “перегрузил клиента”?

На втором этапе этого проекта задача оказалась не в том, чтобы объявить исходный чек-лист правильным или неправильным. Его нужно было перевести из обычного управленческого языка в первую рабочую систему наблюдения.

В одном чек-листе смешались разные объекты

Исходный список хорошо показывает типовую проблему формализации. В нём одновременно находятся:

  • факты, которые нужно получить из разговора;
  • действия, которые должен выполнить менеджер;
  • результаты разговора;
  • несколько действий внутри одного пункта;
  • характеристики, которые пока остаются субъективными.

Например:

“Гражданство”.

Это информация, которую нужно получить.

А:

“Предложить конкретное действие”.

Это уже требование к поведению менеджера.

Формулировка:

“Отрабатывает возражения, задаёт открытые вопросы и отвечает на них аргументированно”.

содержит сразу несколько самостоятельных действий.

Если оставить всё одним критерием, возникает вопрос: что ставить, если менеджер уточнил возражение, но ответил на него слабо?
При бинарной оценке 0 или 1 такие действия лучше разделять.

Первый вопрос: нужен факт или действие менеджера

Для первой нормализации я использую простую развилку. Если бизнесу нужна информация, критерий должен описывать наличие этой информации в разговоре.
Например:

В диалоге озвучена информация об опыте работы клиента.

Клиент может сам сказать:

“Я уже пять лет работаю в такси”.

Информация получена.

Если критерий сформулирован как “менеджер спросил про опыт работы”, система поставит 0, хотя с точки зрения бизнес-задачи ничего не потеряно. Получится, что оценивается ритуал задавания вопроса вместо нужного результата.

Для таких критериев рабочая конструкция выглядит так:

“В диалоге озвучена информация о…”

Другая ситуация возникает, когда компания хочет контролировать конкретное действие сотрудника. Например, важно, чтобы менеджер сам переводил разговор в следующий шаг.
Тогда субъект принципиален:

Менеджер в диалоге предложил клиенту конкретное следующее действие.

Или:

Менеджер в диалоге согласовал с клиентом конкретный следующий шаг.

Для такого типа критериев используется другая конструкция:

“Менеджер в диалоге сделал / предложил / согласовал / получил…”

Это небольшая языковая правка, но она меняет сам объект измерения.

Кто, что и когда

После определения типа критерия я проверяю его ещё по нескольким вопросам. Если оценивается действие:

  • кто должен его выполнить;
  • что именно должен сделать;
  • в какой момент или при каком условии;
  • по чему в разговоре можно понять, что действие выполнено.

Если нужна информация:

  • какой именно факт нужно получить;
  • обязательно ли, чтобы его запросил менеджер;
  • достаточно ли, чтобы этот факт просто появился в разговоре.

И затем главный тест:

Можно ли по конкретному разговору объяснить, почему здесь стоит 0, а здесь 1?

Например:

“Менеджер хорошо отработал возражение”.

Пока слишком широко.
А:

“При наличии возражения менеджер уточнил его суть”.

уже можно проверять по конкретным репликам. Это ещё не идеальная модель работы с возражениями. Но объект наблюдения стал значительно яснее.

Почему на первом этапе достаточно 0 и 1

В текущем проекте критерии оцениваются бинарно:

  • 0 - не выполнен;
  • 1 - выполнен.

Для первого прохода этого достаточно.
Не нужно определять, насколько хорошо менеджер выяснил возраст клиента по десятибалльной шкале.
Информация либо появилась в разговоре, либо нет.
Менеджер либо предложил следующее действие, либо не предложил.
Конкретная договорённость либо появилась, либо нет.

Но бинарная шкала сама по себе не делает критерий объективным. Если формулировка остаётся расплывчатой, система просто будет очень быстро ставить 0 и 1 по расплывчатому правилу. Поэтому первая нормализация нужна ещё до массового анализа.

Первая версия: 26 критериев

После разбора исходных требований получилась следующая рабочая версия. Это не окончательно откалиброванный стандарт. Это набор для первого разведочного прохода по массиву звонков.

Приветствие и потребность

  1. Менеджер в диалоге представился и назвал компанию.
  2. В диалоге озвучено имя клиента.
  3. В диалоге озвучена информация об основном запросе или потребности клиента.
  4. В диалоге озвучена информация о том, что для клиента важно при выборе таксопарка.

Квалификация

  1. В диалоге озвучена информация об опыте работы клиента.
  2. В диалоге озвучена информация о стаже клиента.
  3. В диалоге озвучена информация о гражданстве клиента.
  4. В диалоге озвучена информация о возрасте клиента.
  5. В диалоге озвучена информация о наличии у клиента статуса ИП или самозанятого.
  6. В диалоге озвучена информация по КИС АРТ.

Презентация

  1. Менеджер в диалоге презентовал предложение с учётом озвученного запроса, потребности или приоритетов клиента.
  2. Менеджер в диалоге дал клиенту достаточную и понятную информацию, необходимую для понимания предложения и условий работы.
  3. Менеджер в диалоге озвучил достоверные и актуальные условия, акции и предложения.
  4. Менеджер в диалоге не перегрузил клиента информацией, не относящейся к его запросу или текущему этапу разговора.

Работа с возражениями

  1. При наличии возражения менеджер в диалоге уточнил или выявил его суть.
  2. При наличии возражения менеджер в диалоге задавал вопросы, направленные на уточнение причин и позиции клиента.
  3. При наличии возражения менеджер в диалоге дал аргументированный ответ, относящийся к озвученному возражению.
  4. При наличии возражения менеджер в диалоге получил реакцию клиента на свой ответ и продолжил разговор с учётом этой реакции.

Следующий шаг

  1. Менеджер в диалоге предложил клиенту конкретное следующее действие.
  2. Менеджер в диалоге получил от клиента согласие или отказ на предложенное следующее действие.
  3. Менеджер в диалоге согласовал с клиентом конкретный следующий шаг.
  4. Менеджер в диалоге согласовал необходимые параметры следующего шага: дату, время, место, способ связи или другие применимые детали.

Завершение разговора

  1. Менеджер в диалоге подвёл итог достигнутых договорённостей.
  2. Если клиент не был записан в парк или на встречу, менеджер в диалоге согласовал дальнейший способ связи или следующее касание.

Ведение разговора

  1. Менеджер в диалоге адаптировал стиль и подачу информации к явным запросам, поведению и реакции клиента.
  2. Менеджер в диалоге сохранял инициативу и активно вёл разговор к следующему шагу без давления на клиента.

Почему 26 критериев разбиты на группы

В текущей конфигурации один звонок не отправляется в один большой разбор сразу по всем 26 пунктам. Критерии разделены на близкие по смыслу группы: приветствие и потребность, квалификация, презентация, возражения, следующий шаг, завершение и ведение разговора.

После этого результаты собираются в сводную картину. Такой подход решает две практические задачи.
Первая - не смешивать в одном задании слишком много разных объектов проверки и отдельно удерживать логику каждого блока.

Вторая - дать руководителю удобный верхний уровень. Сначала видно не стену из 26 показателей, а несколько смысловых групп. Если один блок заметно проседает, его уже можно раскрыть до конкретных критериев и звонков.

То есть группировка нужна не только технологии. Она задаёт маршрут анализа:

группа критериев -> конкретный критерий -> звонок -> фрагмент разговора.

Не каждый критерий нужно оценивать в каждом звонке

В выборке есть короткие разговоры примерно по 35 секунд. Требовать от такого звонка одновременно квалификацию, презентацию, работу с возражениями, следующий шаг и подведение итогов бессмысленно. Если система поставит по всем отсутствующим пунктам 0, получится не контроль качества, а набор ложных просадок.

Поэтому у критерия нужна не только формулировка, но и правило применимости. В текущем проекте один из простых способов - ограничить отдельный критерий или группу минимальной длительностью разговора. Например, блок завершения имеет смысл проверять только там, где состоялся достаточно полноценный разговор. Это практический способ не требовать все 26 действий от каждого короткого контакта.

При бинарной логике особенно важно не подменять применимость оценкой. Если условие для критерия не наступило, не нужно ставить 1 только потому, что ошибки не было. Сначала нужно определить, должен ли этот критерий вообще участвовать в оценке такого разговора.

Почему эти 26 критериев пока не являются готовым стандартом

Часть формулировок уже достаточно конкретна. Например:

“В диалоге озвучена информация о возрасте клиента”.

Здесь объект проверки понятен.

Но в списке остались критерии другого типа. Например:

“Менеджер дал аргументированный ответ”.

Что именно компания считает аргументированным ответом?
Достаточно назвать один факт?
Нужно связать ответ с конкретным возражением клиента?
Есть ли аргументы, которые компания считает допустимыми, а другие нет?
Или:

“Менеджер не перегрузил клиента информацией”.

Где проходит граница перегруза?
В количестве характеристик?
В длительности монолога?
В информации, которая не связана с запросом?
В реакции клиента?

Такие формулировки пока остаются субъективными. На этом этапе я сознательно не пытаюсь окончательно решить все такие вопросы до первого анализа массива.

ИИ не знает внутренний бизнес-контекст сам по себе

Есть ещё одна группа критериев, где проблема не в субъективности, а в отсутствии контекста. Например, в чек-листе клиента есть КИС АРТ. Для сотрудников компании это привычное понятие. Но системе нужно отдельно объяснить:

  • что именно означает этот термин в процессе клиента;
  • какую информацию нужно обнаруживать;
  • какие ответы считаются достаточными;
  • что конкретно является выполнением критерия.

То же самое касается актуальных акций и условий. Чтобы уверенно проверять критерий:

“Менеджер озвучил достоверные и актуальные условия”.

недостаточно одной расшифровки звонка. Нужен источник правды о том, какие условия и акции действовали в этот момент.

Первая версия критерия не должна создавать иллюзию, что после одной формулировки ИИ уже знает стандарт компании. Он знает только тот контекст и те границы, которые ему удалось передать и проверить.

Первый массовый проход - это разведка

Следующий этап проекта я называю разведочным. Берётся большой массив реальных звонков и проводится первая оценка по уже нормализованным критериям. Цель этого этапа не в том, чтобы поставить сотрудникам окончательные оценки.

Нужно верхнеуровнево увидеть:

  • по каким критериям чаще появляется 0;
  • какие группы выглядят относительно устойчиво;
  • где появляется много спорных или неопределённых результатов;
  • где системе явно не хватает контекста компании;
  • какие блоки заслуживают более глубокого разбора.

Например, может оказаться, что приветствие и базовая квалификация в большинстве звонков проходят нормально, а отклонения концентрируются в работе с возражениями. Тогда нет смысла одинаково глубоко дорабатывать все 26 критериев.

Можно взять именно этот блок, открыть реальные звонки и проверить, что система посчитала выполнением, где руководитель согласен с оценкой, где не согласен и почему.

Может быть другая ситуация: основная проблема окажется в следующем шаге. Менеджеры нормально отвечают на вопросы, но регулярно заканчивают разговор без конкретной договорённости. Тогда исследование углубляется уже там. А критерий, который до анализа казался руководителю критичным, на массиве может вообще не показать заметной проблемы.

Это тоже полезный результат.

Сначала широко, потом глубоко

Попытка заранее идеально описать все 26 критериев выглядит логично, но может оказаться дорогой по времени и бесполезной по приоритету. Разведочный проход меняет порядок работы.

Сначала критерии доводятся до состояния, достаточного для первого наблюдения.
После этого появляется карта.
По карте выбирается участок, где точность действительно нужна.

Получается последовательность:

исходный чек-лист -> первая нормализация -> группы критериев -> массовая разведка -> поиск зоны отклонения -> детальный разбор -> калибровка -> рабочий стандарт.

Первые 26 критериев не нужно путать с финальной системой оценки. Они выполняют другую работу.

Низкий показатель ещё не означает плохую работу менеджеров

Допустим, после первого прохода критерий “менеджер дал аргументированный ответ” выполнен только в небольшой доле подходящих разговоров. Самый быстрый вывод:

“Менеджеры плохо работают с возражениями”.

Я бы такой вывод не делал без проверки разговоров. Возможны разные объяснения:

  • сотрудники действительно не выполняют нужное действие;
  • критерий сформулирован слишком широко;
  • системе не хватает бизнес-контекста;
  • руководитель и система по-разному понимают “аргументированный ответ”;
  • в одну формулировку попало несколько разных действий;
  • часть звонков вообще не должна оцениваться этим критерием.

В видео-комментарии клиенту я привёл ещё более простой пример. Если один и тот же критерий получает 0 почти у всех, это не повод автоматически объявлять сотрудников плохими. Нужно проверить как минимум три версии:

  1. сотрудники не знают, как именно выполнять это действие;
  2. сотрудники считают его неуместным для такого разговора;
  3. сотрудники знают стандарт, но не выполняют его регулярно.

И есть ещё четвёртая версия на уровне аналитики: сам критерий пока описан недостаточно точно. Первый массовый анализ показывает место, куда стоит посмотреть. Причину он ещё не доказывает.

Что происходит после разведки

После первого анализа уже можно выбрать конкретный критерий или группу. Допустим, это работа с возражениями. Тогда берутся реальные звонки:

  • с положительной оценкой;
  • с отрицательной оценкой;
  • со спорным результатом.

Руководитель проверяет сами разговоры. После этого уточняется:

  • что именно считается выполнением;
  • какие признаки обязательны;
  • какие формулировки допустимы;
  • какие случаи не должны засчитываться;
  • какой внутренний контекст нужно дать системе;
  • какие примеры можно использовать как ориентиры.

После уточнения критерий снова проверяется на звонках. Только после такой работы результат начинает претендовать на роль управленческого показателя. Общую методику этого следующего уровня я уже разбирал в статье оценка звонков менеджеров: критерии, калибровка и единый стандарт. А регулярный процесс после калибровки - в материале контроль качества звонков менеджеров.

Задача этой статьи находится на шаг раньше: показать, как из исходного чек-листа клиента получить первую систему для разведки.

Конструктор критерия оценки звонка

Сам алгоритм нормализации можно применить к своему чек-листу. Конструктор ниже не использует ИИ и не пытается понять бизнес вместо руководителя. Он задаёт несколько детерминированных вопросов, собирает первую формулировку 0/1 и предупреждает о типовых проблемах: нескольких действиях внутри одного критерия и субъективных словах вроде “хорошо”, “аргументированно” или “не перегрузил”.

Открыть конструктор отдельно

Конструктор не делает критерий автоматически правильным. Его задача - помочь сделать первый шаг: отделить факт от действия, явно зафиксировать условие и увидеть место, где формулировка всё ещё требует человеческого решения.

Рабочий алгоритм нормализации чек-листа

После этого проекта я фиксирую процесс так:

  1. Сохранить исходную формулировку клиента.
  2. Понять, какую управленческую задачу она решает.
  3. Определить тип: информация из разговора или действие менеджера.
  4. Если внутри несколько действий, разделить их.
  5. Для информации сформулировать, какой факт должен присутствовать в разговоре.
  6. Для действия указать, кто и что должен сделать.
  7. Если действие требуется только в определённой ситуации, зафиксировать условие.
  8. Убрать оценочные слова там, где их уже можно заменить наблюдаемым поведением.
  9. Определить, к каким разговорам критерий применим.
  10. Запустить разведочный анализ по массиву звонков.
  11. Найти критерии и группы с отклонениями или высокой неопределённостью.
  12. Выбрать приоритетный участок.
  13. Добавить бизнес-контекст, примеры и границы выполнения.
  14. Проверить уточнённый критерий на реальных разговорах.
  15. Только после этого использовать его как устойчивый управленческий показатель.

Главное изменение здесь находится в середине процесса. Не обязательно сначала идеально описывать всё, а потом начинать измерять. В исследовательском режиме можно сначала достаточно хорошо описать поле, посмотреть на массив и только затем глубоко настраивать то, что действительно требует внимания.

Где проект находится сейчас

Исходный чек-лист клиента уже переведён в первую версию из 26 критериев и разделён на смысловые группы.
Следующий шаг - разведочный анализ реального массива звонков.

На момент видео-комментария клиенту первый отчёт был собран примерно по 50 звонкам одного сотрудника. В следующей статье этой серии я разберу уже не формулировки критериев, а сам разведочный отчёт: как читать группы, почему 0 не равен диагнозу менеджеру и как из общей картины выбрать участок для более глубокого анализа.

После этого отдельным материалом разберу следующий этап - детальную калибровку выбранного критерия на положительных, отрицательных и спорных звонках. Для меня последовательность сейчас такая:

сначала карта -> потом конкретный участок -> потом точная настройка -> только после этого управленческий показатель.

Именно поэтому первая версия чек-листа нужна не для красивого общего балла. Она нужна, чтобы понять, куда смотреть дальше.

FAQ

Что такое чек-лист оценки звонка?

Это набор условий, по которым разбирается разговор. Для автоматической оценки каждый пункт желательно свести к проверяемому факту или конкретному действию, чтобы результат можно было подтвердить содержанием самого разговора.

Почему нужно разделять информацию и действие менеджера?

Нужную информацию может самостоятельно сообщить клиент. Если бизнесу нужен сам факт, нет смысла ставить менеджеру 0 только потому, что он не задал отдельный вопрос. Если компания хочет контролировать конкретное поведение сотрудника, действие менеджера нужно указывать прямо.

Почему в этом проекте используется оценка 0/1?

Бинарная оценка нужна для первого разведочного прохода по большому массиву звонков. 0 означает, что применимый критерий не выполнен, 1 - выполнен. Субъективные критерии после разведки требуют отдельной детализации и калибровки.

Можно ли сразу использовать все 26 критериев для оценки сотрудников?

Нет. В этом проекте первая версия из 26 критериев используется как разведочная карта. Низкий показатель сначала нужно проверить на реальных разговорах и понять, проблема в работе сотрудников, в формулировке критерия или в нехватке бизнес-контекста.

Почему ИИ сам не понимает внутренние термины компании?

Значение внутренних терминов, допустимые ответы и границы выполнения определяет сама компания. Этот контекст нужно отдельно передать системе и проверить на реальных примерах.

Что делать после первого разведочного анализа?

Выбрать критерий или группу критериев, где появился значимый сигнал, открыть реальные разговоры, уточнить бизнес-контекст и границы выполнения, а затем повторно проверить критерий. Только после этого показатель разумно использовать для регулярного управления.

Серия

Речевая аналитика для таксопарков

  1. 10 Чек-лист оценки звонка для таксопарка: как перевести критерии клиента в 0/1
  2. 20 Анализ звонков таксопарка: почему 0 ещё не означает проблему менеджера
  3. 30 Калибровка звонков в таксопарке: как определить границы критерия 0/1