Разговор про оценку обучения обычно начинается с требования показать цифры. Требование законное: деньги потрачены, нужен отчёт. Дальше начинаются проблемы, потому что удобные для отчёта показатели меньше всего говорят о результате.

Процент прохождения, средний балл теста и оценка курса по пятибалльной шкале описывают взаимодействие человека с курсом, а не изменение в его работе. Все три можно улучшить, не улучшив обучение.

Оценка держится на одной вещи: соответствии заранее поставленной цели. Если цель была сформулирована через наблюдаемое действие, оценка становится технической задачей. Если цели не было или она звучала как «повысить уровень знаний», измерять нечего, и никакая методика этого не исправит.

Отсюда практическое следствие: вопрос «как мы будем оценивать результат» задаётся до старта разработки, а не после запуска. Заодно это неплохая проверка самой цели. Если непонятно, как измерить, скорее всего цель сформулирована плохо.

Тест на знание проверяет способность выбрать правильный вариант из списка сразу после чтения материала. Связь этого умения с рабочим поведением слабая, особенно там, где речь идёт о навыках взаимодействия.

Сотрудник может безошибочно ответить на все вопросы про принципы командной работы и не применять ни один из них. Знание формулировки и способность действовать по ней в напряжённой ситуации: разные вещи, и вторая из первой не следует.

Для процедурных задач тест ещё как-то работает. Для всего, что связано с поведением, он даёт ложное спокойствие.

Когда прямой числовой показатель недоступен, остаются косвенные признаки. По отдельности каждый слабый, вместе они дают достаточно надёжную картину.

• Изменение в рабочих артефактах. Письма, заявки, отчёты, записи в CRM. Выборку до и после обучения можно посмотреть глазами и сравнить по нескольким критериям.
• Изменение в вопросах. Что люди спрашивают у поддержки и у руководителя. Уход простых вопросов и появление более сложных обычно означает продвижение.
• Наблюдение руководителя. Ответ по конкретным пунктам: делает ли человек эти три вещи, которых раньше не делал. Общая оценка «стало лучше» бесполезна.
• Скорость выхода на результат у новичков. Хорошо работает для адаптационных программ, где есть с чем сравнивать.
• Обращения к материалам после курса. Если человек возвращается к справочнику через месяц, материал попал в реальную работу.
• Что люди рассказывают друг другу. Пересказ коллеге требует понимания и происходит только тогда, когда содержание показалось полезным.
• Число попыток применить. Даже неудачных. Отсутствие попыток говорит о результате яснее любого теста.

Ни один из этих признаков не превращается в красивый процент. Зато все они относятся к работе, а не к курсу.

Отдельная сложность возникает там, где предметом обучения становится поведение: переговоры, обратная связь, работа с конфликтом.

Проверять тут стоит несколько вещей.

• Поведение в ситуации, а не знание принципа. Наблюдение или разбор реального случая работают лучше опросника.
• Устойчивость во времени. Разовое проявление могло быть случайностью или следствием того, что человек знал о наблюдении.
• Поведение под нагрузкой. Спокойная тренировочная ситуация показывает потолок, а не норму.
• Оценку со стороны тех, кто взаимодействует с человеком каждый день. Их картина точнее самооценки.

Самооценка после тренинга измеряет впечатление от тренинга, и не более того. Обычно она завышена, причём сильнее всего у тех, кто продвинулся меньше всех.

Качество отличается от результата и оценивается отдельно. Слово это скользкое: у заказчика, слушателя и разработчика под ним разное содержание.

Что можно проверить более или менее объективно.

• Соответствие содержания заявленной цели. Всё ли из курса работает на неё и всё ли нужное присутствует.
• Наличие практики на каждое целевое действие.
• Качество обратной связи в заданиях. Объясняет ли она или просто сообщает результат.
• Точки, где люди бросают. Место обрыва почти всегда указывает на конкретный дефект конструкции.
• Фактическую доступность: работает ли на том устройстве и в тех условиях, где человек будет учиться.

Отказаться от чисел совсем не получится, да и не нужно. Разумнее договориться заранее, что именно будет считаться доказательством.

Хорошо работает договорённость про одну конкретную вещь. Один показатель, который заказчик считает убедительным, плюс несколько косвенных признаков рядом. Панель из двенадцати метрик тут лишняя. Один согласованный до старта критерий полезнее подробного отчёта, собранного постфактум из того, что удалось выгрузить.