9 ноября 2019

Уважаемые коллеги!

Продолжаем обсуждать уроки дистанционного этапа в громко освещаемом конкурсе «Лидеры России». Поясню контекст. В этом третьем сезоне дистанционный массовый отбор-отсев участников проходил опять с помощью онлайн-тестов. Но среди всех этих тестов на способности появился первый такой тест, в котором удалось участникам заранее задать планку отсева в виде простого критерия — 75 процентов правильных ответов (точка 75% на шкале ППО). Этим тестом стал так называемый ТОЗ — «Тест Общих Знаний». Возможность возникла такая в силу нескольких обстоятельств. И ключевое среди них — тот факт, что в двух предыдущих сезонах удалось не только создать большой банк из 600 откалиброванных заданий (по шкале «Уровень трудности»), но построить прогностическую таблицу — при каком проценте ППО сколько будет отсеяно участников. Балл-процент компьютер подсчитавал в этом году сразу после ТОЗ немедленно и сообщал немедленно участнику, перешел он порог 75% или нужны еще попытки (давалось три попытке — по одной каждые три дня).

Что из этого вышло? — Появилось немало положительных отзывов об этом нововведении, а также о том, что сразу после каждого ответа дается текущая обратная связь (ТОС) о правильности ответа, так что участник сам может на пальцах подсчитать свой сырой тестовый балл и показатель ППО.

И вот теперь (сегодня) после ТОЗ пошел тест ТУРС (тест умственной работоспособности и стрессоустойчивости). И пошел ТУРС впервые в конкурсе «Лидеры России». По нему не собрано было еще никаких эмпрических норм на участниках, непонятно еще, как будет выглядеть распределение тестовых баллов и где ляжет «точка отсечения» (cut score).

А вот теперь почитайте один из отзывов на сегодняшний ТУРС (в сети ВК в группе «Лидеры России») и ниже его обсудим.

Андрей Лупанов
Так же удивляет почему в тесте, заранее нет пороговых оценок, «Лидеры России — конкурс управленцев» опять будете, как в прошлые года «шаманить» что бы прошли и набрали оценки только «нужные» люди?
Почему оценка не выставляется сразу по завершении теста, как на общие знания?
Почему опять все мутно и непонятно,… что бы чиновники смогли набрать нужные баллы?
Не понятно, почему сразу после прохождения, человек не видит свой рейтинг в некой сводной таблице рейтингов, даже если какой то этап провалил, пусть идет тестируется дальше, что бы знать какие еще ему в будущем надо прокачать скилы….
Какой то бессистемный подход и крайне не прозрачный….
Но в целом реализация #КакВАЗ конечно не удивляет…

Итак, о чем пишет участник Андрей Лупанов? Отвлечемся сейчас от того, что этот участник принадлежит к узкой группе, которая по любому поводу критикует конкурс, и сосредоточимся в его критике на «рациональном зерне». А пишет он о том, что множество раз мне лично доводилось наблюдать в ЛЮБЫХ массовых тестовых проектах, в которых результат был важен не только для самопознания или для индивидуальной психологической консультации, а либо разыгрывались призы, либо происходила аттестация и т.п. Это проекты, которые принято на Западе называть High Stake Assessment (оценка с высокими ставками).

Абсолютного доверия не может быть никогда (его и нет, если изучить все реплики до и после реплики Лупанова). Но… такие технологические приемы, как немедленный результат после тестирования, повышают Доверие. а отсутствие этого немедленного результата понижает. Еще больше повышает Доверие немедленная обратная связь после каждого ответа, а ее отсутствие снижает.

Таким образом, о чем я говорю? — О том, что Доверие — это не совсем и не вполне рациональная вещь, а вещь психологическая — основанная на субъективном впечатлении. И мы, как психологи, должны сами это понимать. Наш долг это понимать ЛУЧШЕ, чем другие профи это способны сделать, вовлеченные в управление подобными проектами.

Если рассуждать сугубо рационально, то немедленный результат в сырых очках (сколько процентов правильных ответов удалось показать в сеансе) ничего на самом деле НЕ гарантирует. Уже если какие-то злоумышленники-организаторы задумали «мухлевать», то они могут при наличии длинной шкалы всегда выше балла ППО=99 понатыкать искусственно в рейтинг-лист неограниченное число псевдоучастников с баллом ППО=100 (!). И в таком случае никакая немедленная ОС (обратная связь) никак не поможет. Но… субъективно наивным участникам кажется, что ОС помогает — дает участнику больше шансов для контроля над ситуацией, то есть дает, например, больше шансов для обоснованной апелляции после несправедливого решения. Нам приходится учиться управлять такими проектам с учетом именно Субъективных Факторов Доверия, не отрицать их значимость, просто пренебрегая этими факторами из-за их субъективности, а вовсю использовать эти факторы, чтобы повысить Доверие.

… Я раньше вообще не понимал, почему некоторые участники всеми силами борются за 100-процентный результат. Зачем формулируются какие-то мелкие придирки к каждому заданию, которые мешают показать 100-процентный результат. Я это считал результатом НЕПОНИМАНИЯ вероятностной природы тестовых измерений: мол, высокий результат — это только 100-процентный результат, а то, что ниже точки на шкале ППО=100%, то все уже не есть высокий результат. Хотя… первый признак профи в области тестологии — это считать тест, который позволяет показывать 100-процентные результаты, дефектным А ведь такой подход создает … ПРОПАСТЬ непонимания между дилетантами и профи в области тестологии.

Но… теперь я даже и в этом паранойяльном стремлении к 100-процентным результатам тоже склонен предполагать скорее проявление не столько НЕПОНИМАНИЯ, сколько… глобального НЕДОВЕРИЯ. Ведь в самом деле подумайте о следующем — о том, как рассуждает, или какова психологика (полубессознательная система умозаключений) участника: «Если я не покажу 100-процентный результат, то мерзавцы-организаторы смогут поставить выше меня в рейтинге столько нужных им людей, сколько захотят. НЕТ! — Только 100-процентный результат может мне гарантировать победу!».

Что скажете, коллеги?

Ваш АШ