Эта старинная моя публикация на форуме ЭСПП интересна не сама по себе, а той дискуссией, которую она породила. Я в ходе изучения архиве форума перечитал ее сегодня и … пожалел, что вполне содержательный форум теперь уже в прошлом. Не могу здесь опубликовать всю дискуссию. Вот ссылка на эту дискуссию для тех, кто любознателен:

https://forum.ht-line.ru/threads/a-kak-zhe-vse-taki-izmerit-trudnost-testa.3078

=================================

Коллеги, для начала (для затравки) я опубликую здесь такую мою «провокативную» публикацию на ФБ, а также все комментарии, которые эта публикация породила за вчерашний день (30 ноября).

Шмелев Александр:
У МЕНЯ 8 ИЗ 10, но…

Итак, коллеги, я набрал вроде бы приличную сумму — 8 из 10 правильных ответов, но, даже получив за это положительную оценку от разработчиков теста ( сказано так: «Вы точно имеете высшее образование») я остался в замешательстве и неведении, насколько 2 ошибки — это ужасно или не совсем? Я думал, что напутал в слове «папильотка», но… проверил и оказалось, что напутал где-то еще, и это меня теперь беспокоит. Что меня бы могло в таком случае успокоить? — Это точные статистические данные о том, какой процент испытуемых выполнили тест лучше меня, а какой процент — хуже. Именно такую обратную связь крайне редко можно получить, выполняя любительские тесты в Интернете. Именно такую обратную связь мы даем участникам нашего клуба КИТТ.

https://kto-chto-gde.ru/story/test-…q0Nmy5e0v6BCCdEbh7qZaf5tl74wu_qU9M3EF3zQ#quiz

…Увы, теперь длинные цепочки комментариев не помещаются в одном сообщении на этом форуме и даже Ворд-файл со стенограммой не удается прикрепить. Благодарю за помощь Наташу Завоеванную. Благодаря ней ниже в одном из комментариев удалось эту стенограмму все-таки опубликовать.

Но суть в том, что тему измерения трудности теста мои «сетевые друзья» не подхватили. Они в подавляющем большинстве идентифицировались с ролью «наивных испытуемых» и начали делиться тем, кто сколько заданий решил правильно из 10 и какие конкретные дефекты в заданиях были при этом обнаружены. Желающие могут увидеть эту «беседу» вот по этой ссылке на мою ленту в Фейсбуке:

https://www.facebook.com/shmelyov

Когда я стал говорить о том, что сама по себе цифра 8 из 10 еще ни о чем не говорит и нужна репрезентативная выборка, то на этот разговор откликнулись пока, пожалуй, лишь трое коллег, которые все зарегистрированы и на этом нашем форуме — @Трубицына, @Прокофьева, @Михальский. Остальные, как это бывает всегда на ФБ, совсем не подхватили разговор, ибо там такая традиция — кинуть в тему короткую реплику (или лайк просто) и… уйти из темы навсегда.

А у меня эта моя провокация долго-долго (много десятков лет!) вырастала из моей педагогической практики в работе со студентами МГУ, которым трудно тоже бывает преодолеть свое эгоцентрическо-оценочное отношение к тестам из позиции испытуемого и выйти в рефлексивную позицию профессионала, который хладнокровно анализирует статистические свойства разных тестов, включая и «дурацкие», «очень короткие» и т.п. Я даже такой анекдот немало лет рассказывал, предваряя на лекциях разговор о репрезентативности.

ЧТО ТАКОЕ 22?

Испытуемый пыхтит и выполняет 30 заданий. Потом говорит «Уфф… Сделано!». А психолог, просмотрев протокол, ему отвечает «22». Как реагирует большинство на эту цифру? — Как ни странно, но большинство вовсе не переспрашивает психолога, а что это такое и с чем можно сравнить 22? Большинство либо радуется молча, либо молча огорчается и … уходят.

Вот так и ведет себя в отношении к тестам большинство коллег. А когда начинают об этом думать «С чем сравнить», то возникает не самый простой мыслительный процесс. Возникает в голове понятие «выборка». И понимание, что эмпирическая трудность теста зависит от выборки. Потом медленно всплывает вопрос о том, какими свойствами обладает выборка: размеры (объем), однородность-разнородность и т.п.

Впрочем, более подробно об этом стоит, наверное, говорить не здесь, а в рамках нашей Дистанционной Психометрической Школы.

Да, коллеги?

Впрочем… если кто-то сподобится прямо здесь высказать соображения из «профессиональной позиции», милости прошу. Тогда я и здесь готов это обсудить.

Ваш АШ