Уважаемые коллеги!

Продолжаем обсуждать уроки дистанционного этапа в громко освещаемом конкурсе «Лидеры России». Поясню контекст. В этом третьем сезоне дистанционный массовый отбор-отсев участников проходил опять с помощью онлайн-тестов. Но среди всех этих тестов на способности появился первый такой тест, в котором удалось участникам заранее задать планку отсева в виде простого критерия — 75 процентов правильных ответов (точка 75% на шкале ППО). Этим тестом стал так называемый ТОЗ — «Тест Общих Знаний». Возможность возникла такая в силу нескольких обстоятельств. И ключевое среди них — тот факт, что в двух предыдущих сезонах удалось не только создать большой банк из 600 откалиброванных заданий (по шкале «Уровень трудности»), но построить прогностическую таблицу — при каком проценте ППО сколько будет отсеяно участников. Балл-процент компьютер подсчитавал в этом году сразу после ТОЗ немедленно и сообщал немедленно участнику, перешел он порог 75% или нужны еще попытки (давалось три попытке — по одной каждые три дня).

Что из этого вышло? — Появилось немало положительных отзывов об этом нововведении, а также о том, что сразу после каждого ответа дается текущая обратная связь (ТОС) о правильности ответа, так что участник сам может на пальцах подсчитать свой сырой тестовый балл и показатель ППО.

И вот теперь (сегодня) после ТОЗ пошел тест ТУРС (тест умственной работоспособности и стрессоустойчивости). И пошел ТУРС впервые в конкурсе «Лидеры России». По нему не собрано было еще никаких эмпрических норм на участниках, непонятно еще, как будет выглядеть распределение тестовых баллов и где ляжет «точка отсечения» (cut score).

А вот теперь почитайте один из отзывов на сегодняшний ТУРС (в сети ВК в группе «Лидеры России») и ниже его обсудим.

Андрей Лупанов
Так же удивляет почему в тесте, заранее нет пороговых оценок, «Лидеры России — конкурс управленцев» опять будете, как в прошлые года «шаманить» что бы прошли и набрали оценки только «нужные» люди?
Почему оценка не выставляется сразу по завершении теста, как на общие знания?
Почему опять все мутно и непонятно,… что бы чиновники смогли набрать нужные баллы?
Не понятно, почему сразу после прохождения, человек не видит свой рейтинг в некой сводной таблице рейтингов, даже если какой то этап провалил, пусть идет тестируется дальше, что бы знать какие еще ему в будущем надо прокачать скилы….
Какой то бессистемный подход и крайне не прозрачный….
Но в целом реализация #КакВАЗ конечно не удивляет…

Итак, о чем пишет участник Андрей Лупанов? Отвлечемся сейчас от того, что этот участник принадлежит к узкой группе, которая по любому поводу критикует конкурс, и сосредоточимся в его критике на «рациональном зерне». А пишет он о том, что множество раз мне лично доводилось наблюдать в ЛЮБЫХ массовых тестовых проектах, в которых результат был важен не только для самопознания или для индивидуальной психологической консультации, а либо разыгрывались призы, либо происходила аттестация и т.п. Это проекты, которые принято на Западе называть High Stake Assessment (оценка с высокими ставками).

Абсолютного доверия не может быть никогда (его и нет, если изучить все реплики до и после реплики Лупанова). Но… такие технологические приемы, как немедленный результат после тестирования, повышают Доверие. а отсутствие этого немедленного результата понижает. Еще больше повышает Доверие немедленная обратная связь после каждого ответа, а ее отсутствие снижает.

Таким образом, о чем я говорю? — О том, что Доверие — это не совсем и не вполне рациональная вещь, а вещь психологическая — основанная на субъективном впечатлении. И мы, как психологи, должны сами это понимать. Наш долг это понимать ЛУЧШЕ, чем другие профи это способны сделать, вовлеченные в управление подобными проектами.

Если рассуждать сугубо рационально, то немедленный результат в сырых очках (сколько процентов правильных ответов удалось показать в сеансе) ничего на самом деле НЕ гарантирует. Уже если какие-то злоумышленники-организаторы задумали «мухлевать», то они могут при наличии длинной шкалы всегда выше балла ППО=99 понатыкать искусственно в рейтинг-лист неограниченное число псевдоучастников с баллом ППО=100 (!). И в таком случае никакая немедленная ОС (обратная связь) никак не поможет. Но… субъективно наивным участникам кажется, что ОС помогает — дает участнику больше шансов для контроля над ситуацией, то есть дает, например, больше шансов для обоснованной апелляции после несправедливого решения. Нам приходится учиться управлять такими проектам с учетом именно Субъективных Факторов Доверия, не отрицать их значимость, просто пренебрегая этими факторами из-за их субъективности, а вовсю использовать эти факторы, чтобы повысить Доверие.

… Я раньше вообще не понимал, почему некоторые участники всеми силами борются за 100-процентный результат. Зачем формулируются какие-то мелкие придирки к каждому заданию, которые мешают показать 100-процентный результат. Я это считал результатом НЕПОНИМАНИЯ вероятностной природы тестовых измерений: мол, высокий результат — это только 100-процентный результат, а то, что ниже точки на шкале ППО=100%, то все уже не есть высокий результат. Хотя… первый признак профи в области тестологии — это считать тест, который позволяет показывать 100-процентные результаты, дефектным А ведь такой подход создает … ПРОПАСТЬ непонимания между дилетантами и профи в области тестологии.

Но… теперь я даже и в этом паранойяльном стремлении к 100-процентным результатам тоже склонен предполагать скорее проявление не столько НЕПОНИМАНИЯ, сколько… глобального НЕДОВЕРИЯ. Ведь в самом деле подумайте о следующем — о том, как рассуждает, или какова психологика (полубессознательная система умозаключений) участника: «Если я не покажу 100-процентный результат, то мерзавцы-организаторы смогут поставить выше меня в рейтинге столько нужных им людей, сколько захотят. НЕТ! — Только 100-процентный результат может мне гарантировать победу!».

Что скажете, коллеги?

Коллеги,

а вот какой отзыв мы читаем на тест ТУРС (Тест Умственной Работоспособности и Стрессоустойчивости), в котором одним из субтестов стал наш геймифицированный субтест «Считаем ложки»:

Константин Левитиан
Тест интересный, технически всё прошло хорошо, спасибо организаторам! Любопытный момент: если в прошлом году ключевым фактором на отборе первого этапа была глубокая эрудиция (например, надо было ранжировать карельские озёра по глубине), то сейчас, похоже, ключевым будет навык скоростного счёта ложек. Возможно, меняются требования к лидерам: в условиях ограниченного бюджета нужны те, кто быстро умеют сосчитать количество едоков.

Вот как бурно работает фантазия участников! Минимальная непрозрачность условий прохождения этапов сразу порождает кучу домыслов! А ведь не был никогда на самом-то деле тест ТОЗ ключевым фактором отбора-отсева. И не были никогда ключевыми и вопросы про озера, включенные в этот тест (которые весили не больше 3 процентов от всего пула вопросов в сеансе). Отсев в 2017 году производился по сумме баллов за три теста, в которой низкий результат по ТОЗу можно было компенсировать высокими результатами по тестам способностей. Но… народная фантазия не хочет вдумываться в формулы конкурса, которые… сложны для понимания и для… «описания в двух словах».

Похоже, что ложки в этом году стали сами по себе не просто «тест-объектом», но поводом для всех, способных к минимальному сарказму, но без тонкого ЧЮ, ибо тонкое ЧЮ мешает беспредельничать в сарказме. При этом сарказмирующие сами не чувствуют, что стремятся изобрести что-то вроде «пародии на пародию»… и при этом расписываются в отсутствие у себя не то что тонкого ЧЮ, но вообще всякого ЧЮ.

Вопрос, таким образом, появляется к коллегам и такой тоже: Должен ли Лидер России обладать Чувством Юмора? Или хотя бы должен ли он воспринимать условность тестовых заданий, которые на самом деле вовсе не обязаны в деталях имитировать управленческую деятельность. Является ли «очевидная валидность» главным критерием для отбора тестов для такого конкурса? — Да, в случае отбора в кулинарный техникум, я бы лично не сомневался в том, что «очевидная валидность» — это неизбежный Главный критерий. А вот в случае с «Лидерами России» все еще надеюсь, что и ЧЮ здесь уместно, и способность понимать условность тестовых объектов…