С марта по июнь по собрали 628 результатов по тесту знаний для психологов КВАЛИМИН-26. На рисунке 1 Вы видите, как выглядит эмпирическое распределение частот тестовых баллов на шкале ППО (процент правильных ответов).

Рисунок 1. Гистограмма эмпирического распределения частот по тесту КВАЛИМИН и границы оценок в соответствии с типовыми ожиданиями и международными стандартами.

Балл выше 90% показали только 21 человек из 628, это приближенно 3% от выборки прошедших тест добровольцев. Это явно маловато, чтобы считать такой порог для оценки «отлично» статистически обоснованными (ну просто потому, что тест для большинства бывших студентов-отличников оказался достаточно трудным, о чем некоторые прямо написали в своих отзывах). Если «порог зачета» устанавливать в соответствии с наиболее массовыми ожиданиями в точке ППО=70%, то как видим на гистограмме 1, этот порог у нас преодолели только лишь 40% участников, а больше половины (60%) оказались бы в «отсеве». На цветной схематичной картинке, вынесенной на обложку этого сообщения, площадь «зеленой зоны» — это примерно те 40%, которые получили бы зачет в результате применения такой «точки отсечения» (или «порога зачета», что есть синоним). Что значит «зачет» по теоретическому тесту в системе сертификационных экзаменов? — Это путевка на следующий этап экзамена (решение кейсов и-или собеседование с комиссией).

А есть ли какие-то основания для применения других границ для оценок по тесту КВАЛИМИН? — Да, конечно, есть! Прямо на этом «блоге Шмелева» Вы можете почитать мою статью, написанную еще в 2023 году и основанную на много-многолетнем опыте применения методы тестов для оценивания знаний студентов МГУ:

Метод тестов и границы оценок — Авторский блог А.Г. Шмелёва

Я много лет в МГУ применял на своем тесте по трудному для гуманитариев курсу «Психометрические основы психодиагностики» границу «отлично» не в районе ППО=90%, а в районе ППО=80%. На рисунке 2 Вы можете увидеть, как выглядят границы оценок, которые я фактически «нащупал» за много лет работы в МГУ:

Рисунок 1. Гистограмма эмпирического распределения частот по тесту «Психометрические основы психодиагностики» и границы оценок в соответствии c опытом автора.

Что значит «нащупал». Дело в том, что границы оценок должны соответствовать не только абстрактным представлениям экспертов (преподавателей), но реальным ожиданиям и амбициям самих испытуемых (студентов). Не менее 10% в МГУ — это студенты, которые привыкли думать о себе как о «постоянных отличниках по всем предметам» (а на некоторых курсах дело доходило и до 20% «записных отличников»!). Если вдруг большая часть из таких самых мотивированных (а иной раз и самых тревожных!) студентов «провалится» ниже высшей оценки «отлично», то именно эта категория начнет возмущаться! Причем они будут возмущаться гораздо сильней, чем даже те, которые провалятся на оценку «неуд» (эти, как правило, вообще не посещают занятия, поэтому готовы ко всему). Поэтому выставить всего лишь 3% высших оценок «отлично» — это значит нарваться на скандал, который будет угрожать самому применению метода тестов для аттестации студентов (!). Точно также нельзя ставить нижнюю границу «зачета» (границы для оценки «удов») в районе ППО=70%. В этом случае получилось бы слишком много «двоечников» (больше половины!), которым грозит отчисление из университета за неуспеваемость. Двоечников с учетом «социально-политической обстановки» не может быть больше половины никак! — Максимум, что может выдержать образовательное учреждение по доли студентов, которые попадают на пересдачу — это не больше 40% (да и то уже эта доля — это грандиозный скандал!). Как видите, на рис. 2 я старался установить нижнюю границу положительной оценки в районе ППО=50% и тем самым сократить долю студентов, обязанных пройти пересдачи до 10% (хотя чаще получалось, что их оказывалось около 25 человек на курсе численностью в 150 студентов, то есть фактически в районе 15-16%).

Являются ли границы, указанные на рисунке 2, этакой «незаконной поблажкой» (в интересах студентов, да и в интересах преподавателя, который не хочет накалять отношения с администрацией вуза)? — На самом деле нет, конечно! Если Вы откроете множество старинных учебников по методу тестирования (а их на иностранных языках вышло в 20 веке очень много — как раз в те годы, когда у нас «работало» постановление ЦК ВКП(б) от 1936 года «О педалогических извращениях» и тесты были под запретом), то Вы, как правило, увидите следующую рекомендацию по буквенным грейдам (градациям) вербальных оценочных категорий:

«Отлично» (или категория А) — больше или равно 80% на шкале ППО,

«Хорошо» (или категория В) — больше или равно 60% на шкале ППО,

«Удовлетворительно» (или категория С) — больше или равно 40% на шкале ППО,

«Неудовлетворительно» (или категория D) — меньше 40% на шкале ППО.

Как видим, такие интервалов получаются по очень простой формуле: весь диапазон возможных значений ППО от 0% до 100% делится на пять интервалов равной длины (!). Хотя при этом грейды D и E, как правило, уже не различаются.

Если бы применили такой принцип к эмпирическому распределению баллов в тесте КВАЛИМИН, то получили бы гистограмму, которую Вы видите на рисунке 3: