Эффективность обучения персонала

Женщина с седыми волосами и очками за окном обслуживания. Между её рукой и рукой в розовом рукаве находится голубая папка, на стойке лежит жёлтая папка.

Оценить обучение ИИ в команде можно только через задание с заранее зафиксированными критериями. Сотрудник выполняет задачу, близкую к рабочей, а назначенный проверяющий сверяет каждый ответ с фактами источника. Если что-то не прошло - выясняется причина, выбирается действие. Ниже - полный ход такой проверки на учебном примере с реальными публичными условиями командного обучения ИИ.

Проверяемые условия страницы majento.ai/ru/ai-training/ (открыта 04.10.2026)

На странице опубликованы следующие условия:

  • Командное обучение от 2600 долларов. Это минимум, не итоговая цена.
  • Группа максимум 15 человек. Для большего числа обсуждаются отдельные группы.
  • Офлайн предпочтителен, онлайн возможен.
  • Программа под задачи и процессы бизнеса заказчика.
  • Окончательные программа, формат и стоимость согласуются до начала.
  • Допустимые данные согласуются с командой.
  • Выделяются AI-чемпионы и определяются проекты внедрения.

На этой странице нет обязательства сразу начать внедрение. Нет объяснения, почему офлайн предпочтительнее онлайна. Этих фактов нет, и они не добавляются.

Пример задания и разбор ответов для проверки ИИ-навыка

Хорошее задание привязано к реальной рабочей ситуации, а не к повтору учебного текста. Сотрудник получает задачу, отличающуюся от примера на курсе, но требующую того же навыка.

Ниже - учебный пример задания для сотрудника, который готовится к роли AI-чемпиона. Условия взяты из публичной страницы majento.ai/ru/ai-training/ (04.10.2026). Ответы составлены автором для иллюстрации и не запускались через модель.

Задание (копируемый текст):

Команда из 20 человек запросила командное обучение. Три требования: онлайн-формат, окончательная цена, одна группа.

Условия, согласованные до входа в работу:

  • Группа максимум 15 человек. Для большего числа обсуждаются отдельные группы.
  • Командное обучение от 2600 долларов. Это минимум.
  • Офлайн предпочтителен, онлайн возможен.
  • Программа, формат и итоговая стоимость согласуются до начала.
  • Допустимые данные согласуются с командой.
  • Выделяются AI-чемпионы и определяются проекты внедрения.

Составь ответ на три части запроса (группы, цена, формат) с учётом каждого условия. Пиши как черновик для проверки, не как финальное письмо клиенту.

Ответ, прошедший сверку:

  1. О группах. 20 человек не помещаются в одну группу, потому что максимум 15. Для большего числа обсуждаются отдельные группы. Программу и формат согласуем до начала.
  2. О цене. Минимум для командного обучения - 2600 долларов. Окончательная стоимость, программа и формат согласуются до начала.
  3. О формате. Онлайн возможен. Офлайн предпочтителен. Итоговый формат согласуем до начала.
  4. О данных. Прежде чем начинать, уточним, какие данные допустимо использовать в примерах и упражнениях.
  5. О проекте внедрения. Будут выделены AI-чемпионы и определены проекты внедрения.

Ответ с ошибками:

  1. О группах. Уложим 20 человек в одну группу, это не проблема.
  2. О цене. Финальная цена - 2600 долларов, скидка за онлайн 10%.
  3. О формате. Проводим онлайн, офлайн нам не нужен.
  4. О внедрении. Начнём внедрение сразу после курса, срок - две недели.
Латунные весы с двумя чашами на белой тумбе. На левой чаше лист с множеством красных пометок и вычеркиваний, на правой - такой же лист с одной красной пометкой. Рука придерживает верх стойки весов.

Критерии приёмки и таблица сверки

Каждое утверждение в ответе сверяется с конкретным фактом из источника. Проверяющий оценивает только соответствие фактам - не стиль и не скорость.

Критерии приёмки:

  • Числовое ограничение (15 человек) не нарушено.
  • Цена названа как минимум, не как окончательная.
  • Формат назван так, как в источнике: офлайн предпочтителен, онлайн возможен.
  • Нет обещаний внедрения, которых нет в источнике.
  • Нет скидок, исключений и сроков, которых нет в источнике.
  • Упоминание согласования программы и данных присутствует.
  • Упоминание AI-чемпионов и проектов внедрения присутствует.

Ответ, прошедший сверку:

Утверждение Статус Опора в источнике
20 человек не помещаются в одну группу Принято Группа максимум 15 человек
Для большего числа обсуждаются отдельные группы Принято Для большего числа обсуждаются отдельные группы
Программу и формат согласуем до начала Принято Программа и формат согласуются до начала
Минимум 2600 долларов Принято Обучение от 2600 USD, это минимум
Окончательная стоимость согласуется до начала Принято Итоговую стоимость согласуют до начала
Онлайн возможен Принято Онлайн возможен
Офлайн предпочтителен Принято Офлайн предпочтителен
Итоговый формат согласуем до начала Принято Формат согласуется до начала
Уточним допустимые данные Принято Допустимые данные согласуются с командой
AI-чемпионы и проекты внедрения Принято Выделяют AI-чемпионов, определяют проекты внедрения

Ответ с ошибками:

Утверждение Статус Нарушенное условие
20 человек в одну группу Возвращено Максимум 15 человек
Финальная цена 2600 Возвращено 2600 - это минимум, не итоговая цена
Скидка 10% за онлайн Возвращено Скидки в источнике нет
Офлайн не нужен Возвращено Офлайн предпочтителен
Внедрение сразу, две недели Возвращено В источнике нет обязательства и срока внедрения

Приёмка основана на исходных фактах публичной страницы. Возвращённые утверждения содержат числа и обязательства, которых нет в источнике - именно это делает их ошибочными.

Записка руководителю по итогам проверки. Проверен учебный ответ на три части запроса. Десять утверждений правильного варианта выдержали сравнение с входными фактами. Пять утверждений ошибочного варианта возвращены с указанием конкретного нарушенного условия. Проверялась способность удерживать ограничения источника при составлении ответа - не умение писать красиво или быстро.

Чего этот разбор не наблюдал: реального сотрудника в реальной ситуации. Не наблюдалось его самостоятельности от тренера, затрат времени, переноса навыка в другую задачу, прохождения полного курса. Не доказано, что курс окупился или что команда стала эффективнее.

Решение по этому образцу: задание и критерии пригодны для проведения проверки на реальном сотруднике. Оценка реального обучения требует выполнения задания самим человеком и записи наблюдений по тем же критериям. Без этого этапа записка остаётся учебной, не итоговой.

Границы наблюдения: разбор показывает, что метод сверки работает на составленном тексте. Он не показывает, как метод поведёт себя на живом сотруднике, который устал, спешит или не читал источник целиком.

Почему сотрудник ошибся на проверке и что делать

Одна ошибка ещё не говорит о причине. Перед тем как выбирать действие, нужна диагностика.

Случай 1. Сотрудник написал «20 человек в одну группу». Нарушено числовое ограничение из источника. Диагностика: видел ли сотрудник условие о лимите 15 человек, и была ли формулировка достаточно заметной? Если условие видно в источнике, но пропущено - нужна практика проверки числовых фактов, а не пересдача всего курса. Если условие спрятано в длинном абзаце - нужно исправить формулировку источника, а не винить сотрудника.

Случай 2. Сотрудник написал «скидка 10%». Добавлена цифра, которой нет в источнике. Причина по одному дефекту не устанавливается. Диагностика: не видел источник; видел, но не понял, что «от 2600» означает минимум; задача не требовала точной цены и сотрудник домыслил для полноты ответа. Если причина в непонимании формулировки «от» - разобрать один пример вместе. Если задача не требовала точной цены - сменить задачу и добавить в неё часть про согласование стоимости. Если сотрудник привык добавлять условия для клиента - нужна практика различения того, что есть в тексте, и того, что додумано.

Случай 3. Нужного условия в задании не было. Допустим, в источнике не было условия по формату. Тогда сотрудник не мог его соблюсти. Действие: подготовить источник с полным перечнем условий, не менять критерий задним числом и не винить сотрудника.

Случай 4. Задание не проверяет нужный навык. Задача «ответить на три части» показывает умение удерживать ограничения. Но если команде нужно согласовывать программу под задачи бизнеса - эту часть нужно добавить в задание. Ответ, формально корректный, может не показывать нужный навык.

Ни в одном из этих случаев дообучение не назначается по умолчанию. Диагностика идёт первой, действие выбирается по её результату.

Латунные песочные часы, к которым бело-красной нитью привязан бумажный ярлык-ценник. Рука отгибает ярлык, и на его обороте видны галочки в клетках и неразборчивые строки.

Что согласовать до курса обучения ИИ и как вести запись

Оценка работает только тогда, когда критерии зафиксированы до начала, а не придуманы задним числом.

Четыре уровня свидетельства:

  • Посещение. Человек был на сессии. Это факт присутствия, не факт понимания.
  • Конкретное выполнение - сотрудник выполнил заданное упражнение по заранее заданным критериям. Показывает, что навык доступен в контролируемых условиях, но не означает, что сотрудник применит его самостоятельно.
  • Перенос в рабочую задачу - сотрудник решает сопоставимую, но другую задачу. Показывает, что навык не привязан к конкретному примеру, но не говорит об изменении бизнес-результата.
  • Бизнес-эффект. Изменение в оплате, времени обработки, числе переделок. Требует отдельного измерения и не следует автоматически из трёх предыдущих.

Какой уровень нужен - зависит от роли. Команда поддержки может остановиться на переносе. Команда разработки может сразу идти к бизнес-эффекту через измерение времени на отладку. Требовать от всех один уровень нет смысла.

До старта дополнительно фиксируют: кто будет проверяющим (роль - например, руководитель направления, который ставил задачу обучения; имя не выдумывается, фиксируется только роль), какое задание даётся, по каким критериям принимается ответ и сколько человек из команды должны пройти проверку, чтобы результат считался представительным.

ИИ допустим при выполнении задания. Если тренер давал подсказку, это записывается отдельно - пока сотрудник не справился без подсказки, самостоятельность не подтверждена. Но подсказка тренера не означает, что обучение было бесполезным.

Что записывается. Черновик сотрудника, время выполнения, что было исправлено после сверки и какие факты пропущены. Неудачная попытка сохраняется в записи - она не заменяется следующей без отметки. Одно выполнение показывает, что навык был доступен в конкретном случае, но не доказывает, что сотрудник понял весь курс.

Полное время до принятия включает: подготовку (чтение источника, формулировку задания), выполнение (написание ответа), проверку (сверку с критериями) и доработку (исправление возвращённых утверждений). Неудачная попытка входит в это время и не вычитается.

Отсутствующие и неудачные попытки не исключаются задним числом. До и после само по себе не доказывает причинность: улучшение может быть связано с практикой, изменением задач или опытом вне курса.

Затраты и финансовый результат обучения

Финансовую отдачу от обучения ИИ нельзя взять из чужих исследований и подставить в свои расчёты.

Что считается дополнительным расходом. Стоимость курса - дополнительный расход, если это реальный платёж сверх того, что организация платила бы без него. То, что цена курса умещается в бюджет, само по себе не означает дополнительного расхода: важен фактический платёж и отвергнутый сравниваемый вариант. Рабочее время сотрудников на сессиях, помещение и оборудование - уже имеющиеся ресурсы. Часы на обучение можно пересчитать по внутренней ставке для планирования - это денежная оценка затрат времени, а не ROI.

Высвобождённое время. Если сотрудник выполняет задачу быстрее или с меньшим числом переделок, освобождаются часы. Потенциал более полезной работы не равен оплаченным продажам. Высвобождённое время влияет на финансовый результат только если его занимает работа, которая приносит оплату сверх текущего объёма.

Прямая экономия. Если число переделок снизилось и из-за этого не пришлось оплачивать повторную разработку - это конкретный механизм экономии. Наблюдение «переделок стало меньше» без механизма остаётся ощущением, не доказательством. ROI неизвестен без собственных измерений до и после обучения. Подставлять чужие цифры нельзя. Увольнений и экономии не обещается.

Что говорят исследования об обучении ИИ

Два исследования указывают на одно: измерять нужно конкретный рабочий процесс и конкретные задачи, а не факт прохождения курса.

По данным arXiv 2304.11771v2 (06.11.2024) - 5172 работника поддержки - подключение ИИ-ассистента дало средний рост числа решённых обращений за час на 15%. При этом опытные работники получили небольшой выигрыш в скорости и небольшое снижение качества. Это эффект изменения рабочего процесса от подключения инструмента, не эффект курса обучения.

Учебный пример ошибочной формулировки: «По данным исследований, после нашего курса команда решит на 15% больше обращений за час». Эта фраза составлена для иллюстрации. Она переносит эффект подключения инструмента на эффект курса - это некорректно. Для плана оценки вывод такой: конкретное выполнение, перенос и бизнес-эффект проверяются раздельно, а не суммируются из одной цифры.

Технологическая граница ИИ - это разделение задач на те, с которыми текущие модели справляются хорошо, и те, с которыми пока нет. Эффект зависит от конкретной задачи, и заранее его нельзя знать. По данным HBS AI Institute (2023) - 758 консультантов - задачи внутри этой границы давали положительный эффект, и результат зависел от типа задачи. Для плана оценки это значит: выбирать задачи, которые команда реально выполняет, запускать пробный прогон и не ждать одинакового эффекта от разных видов работы.

Авторский план, описанный в этой статье, не подтверждён целиком этими двумя исследованиями. Они указывают на одно: измерять нужно конкретный рабочий процесс.

Часто задаваемые вопросы

Можно ли считать обучение ИИ успешным, если все пришли и оставили хорошие отзывы?

Посещение и положительные отзывы показывают интерес и удовлетворённость. Они не показывают, что навык доступен в работе. Человек может быть доволен курсом и при этом не использовать ИИ при решении реальных задач. Для проверки нужно конкретное задание с критериями и выполнение самого сотрудника, а не тренера. Одно выполнение показывает, что навык был доступен в конкретном случае - это уже больше, чем отзыв о курсе.

Что делать, если сотрудник не прошёл проверку по числу фактов?

Сначала установить причину. Если сотрудник не заметил ограничение в источнике - дать практику проверки числовых фактов. Если не понял структуру источника - разобрать один пример вместе. Если условие было спрятано в длинном тексте - исправить сам источник, а не винить сотрудника. Пересдачу или дополнительное обучение назначают только после того, как причина ошибки установлена. Диагностика всегда идёт первой.

Нужен ли единый набор задач для всех команд?

Нет. Критерии привязаны к тому, что делает конкретная роль. Сотрудник поддержки отвечает на запросы об условиях обучения - полезный выход требует удержания ограничений источника. Для команды расчётов полезный выход другой: корректная арифметика, верный выбор формул, отсутствие округлений там, где они искажают результат. Для команды разработки: рабочий код, покрытие тестами, отсутствие регрессий. Универсальный принцип один: критерий привязан к тому, что реально делает роль.

Как измерить бизнес-эффект обучения ИИ без выдуманных цифр?

До курса нужно определить механизм: что именно изменится в оплате или времени, если навык перенесён в работу. Измерить показатель до курса. Провести курс. Измерить после. Сравнить. Без зафиксированного механизма наблюдение «стало быстрее» остаётся ощущением. Корреляция между датой курса и изменением метрики не доказывает, что изменение вызвал курс: могла измениться нагрузка, обновиться инструменты, смениться часть команды. До и после без контрольной ситуации показывает разницу, не причину.

Что такое технологическая граница ИИ и зачем учитывать её при оценке?

Технологическая граница - это разделение задач на те, с которыми текущие модели справляются хорошо, и те, с которыми пока нет. Эффект зависит от конкретной задачи, и заранее это знать нельзя. Для плана оценки это значит: выбирать задачи, которые команда реально выполняет, запускать пробный прогон и проверять результат именно на них. Даже на задачах, которые кажутся подходящими, исход не гарантирован без пробного запуска.

Как выбрать задачу для проверки, чтобы она отличалась от учебного примера?

Задача должна требовать того же навыка, но ставить сотрудника в другую ситуацию. Например, если на курсе разбирался запрос команды из 20 человек, для проверки дают запрос команды из 12 человек с другими требованиями. Критерии приёмки остаются теми же: числовые ограничения, цена как минимум, формат, данные, внедрение. Это проверяет перенос навыка, а не умение запомнить один конкретный пример.

Что записывают в итоговую записку руководителю после проверки?

Записка содержит: что проверялось и при каких условиях, сколько утверждений прошло сверку и сколько возвращено с указанием причины, какой именно критерий проверялся, что не наблюдалось в ходе проверки (самостоятельность, перенос в другую задачу, прохождение полного курса), и какое действие рекомендуется следующим. Записка, составленная на учебном тексте без наблюдения реального сотрудника, остаётся учебной, а не итоговой.

Нужно ли проводить проверку сразу после курса?

Момент проверки фиксируется заранее вместе с остальными критериями. Откладывание проверки само по себе не запрещено, но чем дольше промежуток между окончанием курса и проверкой, тем труднее разделить эффект курса и другие факторы - практику, смену задач, опыт вне обучения. Если момент не зафиксирован до старта, результат сложнее интерпретировать.

Заключение

Оценить обучение ИИ в команде - значит заранее договориться о критериях, дать сопоставимое задание и сверить ответ с фактами источника. Посещение курса и хорошие отзывы не говорят о том, что навык перенесён в работу. Финансовый результат требует отдельного измерения до и после, а не переноса чужих цифр. Диагностика причины ошибки важнее немедленного назначения дообучения.

Если вы хотите выстроить такую систему оценки в своей команде - начните с командного обучения ИИ. По вопросам: hello@majento.ai | Telegram @shimaoz

Источники

  1. Материал arxiv.org
  2. Материал aiinstitute.hbs.edu

Открыть как Markdown