Мне до сих пор интересно своими руками проверять, в какой степени определенные «психометрические стандарты», которые я преподавал столько лет в МГУ, продолжают быть актуальными и адекватными нашей быстро меняющейся действительности. К тому же эти психометрические рекомендации во многом отразились и в документе «Российский стандарт тестирования персонала», который опубликован был уже 10 лет назад (пора бы его обновлять, да нет у ключевых специалистов-разработчиков времени на это, а пользователи не стимулируют к такой общественной работе).

Один из весьма рискованных и упрощенных тезисов насчет обеспечения репрезентативных норм гласит:

«Численность нормативной выборки должна быть не менее 200 человек, чтобы нормы были репрезентативными, то есть чтобы их можно было применять на генеральной совокупности испытуемых».

Что означает «не менее»? — Это значит, что 200 человек годится только для самой грубой шкалы из 9-10 градаций (шкалы станайнов или стэнов, например).

Сегодня я поработал с результатами короткой методики «Логика на кругах Эйлера». В этой короткой версии только 10 заданий. Вы можете с ними познакомиться, если хотите (если Вы еще не выполняли этот тест на вашей личной странице в клубе КИТТ):

Тест «Логика на кругах»

Хотя тут раньше мы запускали уже версию из 15 заданий. Почему потребовалось укоротить до 10 более легких? — Это сделано для того, чтобы потенциальные кандидаты в клуб КИТТ, которых мы приглашаем с помощью Яндекс-рекламы, не слишком утомлялись и чтобы многие были… воодушевлены. Поэтому мы добились, чтобы трудность 100%-го результата для них составляла ровно 50% (то есть чтобы половина тестируемых получали максимальный балл 10 из 10 правильных ответов).

Итак, у нас появились 2 выборки:

1) Зарегистрированные участники клуба КИТТ (многие из них активисты с приличным многолетним стажем) — 195 человек.
2) Люди вне клуба КИТТ, в данном случае это респонденты, которые приняли приглашение пройти рекламную версию теста «Круги Эйлера» из 10 заданий — их накопилось на сегодня 283 человека.

На диаграмме Вы можете сравнить полученные для двух этих выборок 2 частотных распределения тестовых баллов (выраженных на шкале ППО — «процент правильных ответов»)

Как видим, расхождение двух столбцов в среднем вполне невысокое — только 2 процента (можно говорить о 98% надежности в моделировании процентильных тестовых норм). Это подтверждает в целом пригодность выборки в 200 человек (195 — это почти 200) для получения приличных тестовых норм на шкале из 10 градаций (хотя в данном случае их ровно 9, но не будем «придираться по мелочам» к моим словам). Главная для нас реперная точка на распределении — это 50% вероятность получения результата ППО=100%. Она подтвердилась на большой «рекламной выборке» с высокой точностью (ошибка тут составила как раз только лишь 2% по модулю).

Впрочем, это никакое не открытие. Так и должно было быть. Не все так уж сильно поменялось в нашем 21-м веке по сравнению с прошлым 20-м веком.

Тут приятная подробность состоит не столько в численности нашей нормативной выборки, сколько в том, что именно клуб КИТТ дает нам достаточно разнообразный круг участников. Ведь можно было бы заподозрить, что в нашем клубе участвуют год из года одни лишь «вундеркинды», так что результаты буквально по всем тестам на способности и знания оказываются завышенными. Но нет, как видим, красный правый столбец оказался даже на 2% короче, чем синий правый столбец: в «рекламной выборке» оказалось даже немного больше 100%-ных результатов (!). Впрочем, заметно, что и очень низкие результаты в рекламной выборке встречаются почаще, чем среди членов нашего клуба КИТТ. Так что выборка КИТТ оказывается несколько более однородной, что заметно даже на глазок. Но все-таки различия оказались совсем-совсем не критичными. Так что стратегия нашего центра оказалась вполне оправданной — опираться на участников клуба КИТТ для формирования приближенных тестовых норм. Эти нормы вполне пригодны если не для третьей коммерческой, но для второй уже рабочей версии теста (будем рабочую отличать от первой исследовательской версии).

Повторю здесь адрес официального сайта нашего клуба КИТТ, на котором можно пройти саморегистрацию и тогда Вы будете получать регулярные рассылки, позволяющие Вам знакомиться с новыми исследовательскими версиями наших тестов:

https://kitt-club.ru