Метрики обучения: как поймать, что обучение идёт не так
Как увидеть по первым данным, что курс не работает, пока его ещё можно починить?
Курс разбирает приборы, которые уже есть в вашей выгрузке, и учит читать их на второй неделе, а не через полгода.
Как это часто бывает
Курс закончился, цифры собраны, и все они хорошие.
Прошли 96%, итоговый тест с первой попытки сдали 95%, в отзывах «всё было понятно и удобно». Через месяц в работе ничего не изменилось.
Руководитель спрашивает, что это дало. Есть отчёт о прохождении и средний балл, и по ним видно только то, что люди дошли до конца.
Час вебинара, в чате ни одного вопроса по теме. Похоже, что всё понятно.
В таблице с результатами заданий всё зелёное: справились почти все.
Каждая из этих цифр честная.
Просто ни одна из них не отвечает на вопрос, научились ли люди.
Дело не в том, что невозможно измерить результат
Обычно это объясняют тем, что нет доступа к данным бизнеса, нет нормальной аналитики в платформе, а бизнес не хочет вовлекаться. Всё это правда. Но приборы уже есть, просто часть из них принято читать наоборот: «было понятно» часто означает, что ничего не изменилось; высокая доходимость означает, что курс обязательный; а тишина в чате означает не согласие, а отсутствие обдумывания и применения к своим задачам.
Ещё важно: смотреть надо на то, как курс идёт, а не на то, чем он закончился. Итоговые цифры приходят в тот момент, когда менять уже поздно и обучение прошли все. При этом почти всё, что в них видно, видно и на второй неделе, когда курс ещё можно изменить.
С первого раза обучение редко получается таким, как задумано, и это нормально. Только узнавать об этом нужно вовремя.
Что вы сможете после курса
- 01Поставить диагноз своему курсу по тем данным, которые уже есть в выгрузке
- 02Увидеть, что курс идёт не так, на второй неделе, а не через полгода
- 03Прочитать любую метрику в паре: какая вторая цифра подтвердит ваш вывод, а какая его опровергнет
- 04Посчитать индекс активности для вебинара и для асинхронного курса и понять, где люди думали, а где узнавали
- 05Спросить людей через месяц так, чтобы узнать, чем они действительно пользуются, а чем нет
- 06Переписать анкету обратной связи так, чтобы она показывала, кто сможет применить, а кто нет
- 07Собрать доказательство результата за два дня, без данных бизнеса и без согласований
- Всё это делается на том, что у вас уже есть: без новой платформы, без решений руководства и без доступа к показателям бизнеса.
Что вы заберёте с собой
Таблица чтения пар
Два десятка сигналов: что каждый из них означает на первый взгляд, что может скрывать и с чем его читать.
Карта мест обрыва
Где именно обрывается асинхронный курс и что означает каждое место.
Расчёт индекса активности
Два набора параметров, для вебинара и для асинхронного курса, с готовыми запросами для разбора стенограммы и выгрузки.
Лестница требований к заданиям
Шесть уровней, по которым видно, думает человек или узнаёт, и что переписать, чтобы поднять задание на уровень выше.
Два опроса вместо «понравилось ли»
Анкета в конце курса со шкалой способности применять и заранее заданным порогом провала. Отложенный опрос через месяц: что из этого вы используете, как это повлияло на вашу работу, чем не пользуетесь. Оба опроса составлены так, чтобы не уводить в теорию и не подсказывать правильный ответ.
Чек-лист «что настроить до запуска»
Что включить в курсе и в платформе, чтобы потом вообще было на что смотреть.
Протокол четырёх разговоров
Готовые вопросы для тех, у кого получилось, и для тех, у кого нет.
Шаблон отчёта руководителю
На одну страницу, с честной графой «насколько надёжны данные».
Программа
- 1Почему «всё было понятно» скорее плохая новость, чем хорошая
- 2Как смотреть на курс, пока он идёт, а не когда он уже закончился
- 3Какая вторая цифра опровергнет ваш вывод: чтение метрик парами
- 4Где именно обрывается асинхронный курс и о чём говорит каждое место обрыва
- 5Индекс активности: сколько курс или ведущий потребовал и сколько люди далиСюда же: что означает «с заданиями справились почти все».
- 6Что нужно вложить в курс заранее, чтобы потом было что смотреть
- 7Чем заменить данные о том, что изменилось в работеОтложенный опрос через месяц, четыре разговора и отчёт, который можно показать руководителю.
Практика на курсе
Диагноз по дашбордам
Несколько дашбордов с данными по курсам: что там на самом деле происходит.
«Очень хорошее обучение очень плохо работает»
Данные курса, по которым всё выглядит хорошо. Задача: понять, где скрывается подвох.
Для кого
Вы делаете курсы и не знаете, работают ли они. Обратная связь хорошая, тесты сдают, а что происходит на самом деле, непонятно.
Вы отчитываетесь цифрами прохождения и чувствуете, что эти цифры ничего не доказывают, но других у вас нет.
Вам задают вопрос «что нам это дало», а доступа к показателям бизнеса у вас нет и не будет.
Вы стали собирать курсы заметно быстрее, чем раньше, и теперь их стало больше. Вопрос, работает ли то, что получается, встал острее, чем когда курс делали полгода.
От автора
Я совершенно точно уверена, что смотреть нужно не на то, что получилось в итоге. Потому что, возможно, мы ошиблись при проектировании. Это нормально, ошибаются все. Да и хороший курс с первого раза почти никогда не получается. И если мы будем смотреть только на итоги, то этот курс с ошибками пройдут все, кто должен был пройти. И цена будет очень высокой.
Смотреть показатели нужно в процессе обучения.
У нас есть масса приборов, по которым мы можем ориентироваться и сразу понимать, что что-то пошло не так.
В этом курсе я собрала все основные инструменты, которые мы можем использовать по ходу. А ещё в нём два моих индекса: индекс вовлечённости на вебинаре и индекс вовлечённости для асинхронных курсов. По ним мы тоже можем смотреть, что и как идёт. Я сама очень не люблю работать вслепую и не хочу, чтобы вам так приходилось работать.
Метрики обучения
Как поймать, что обучение идёт не так, пока курс ещё можно починить.
- ФорматОнлайн в Zoom
- Дата18 ноября
- Время16:00–20:00 по Москве
- Стоимость2 900 ₽
- Оплата по счёту5 900 ₽