10 января 2023

На заре внедрения в городскую среду автомобильного транспорта считалось, что превышение скорости в 30 км в час — это уже преступление против пешеходов. К автомобилям, таким образом, пытались продолжать применять мерки, привычные для гужевого транспорта…

Внедрение метода тестирования до сих пор во многих организациях разбивается о банальное непонимание, какими должны быть в этом случае границы оценок. Продолжают талдычить, что 90 процентов — это граница для оценки «отлично», а граница минимальной положительной оценки — в районе 60 процентов усвоения (от требуемого объема знаний).

Ну давайте считать, применяя теорию вероятностей и матстатистику (непривычное занятие для руководителей учебной части многих вузов). Если тест мы составили из заданий, каждое из которых в среднем характеризуется показателем ППО (процентом правильных ответов) в районе 65% (а ведь если подберем задания с более высоким ППО, то потеряем во многом диагностическую способность такого теста), то согласно известным формулам Бернулли, величину стандартного отклонения («сигма») можно приближенно оценить с помощью корня квадратного из произведения 0,65*0,35*N, где N — число заданий в тесте, что в тесте длиной в 100 заданий даст нам величину порядка 4-5%.

На самом деле задания в рамках определенной темы (предметной дисциплины) не являются независимыми испытаниями и при наличии их средней скоррелированности на уровне 0,3-0,5, можно смело говорить, что стандартное отклонение достигает величины в районе 10-12%. Ну вот теперь мы можем спрогнозировать, сколько в тесте длиной хотя бы в 50 заданий, будет тех или иных оценок, если задать границы 90-80-70-60. Ответ: выше ППО=90 из ваших 200-300 студентов скорее всего не наберет … никто (!). Почему:? — А вспомните-ка про закон «трех сигм», а это отклонение от среднего уровня как раз на 3 сигмы вверх (!). У меня в самом деле этот уровень студенты достигали не каждый год, а только раз в 3-4 года (!). То есть один из почти 700-900 студентов (!). Поэтому-то нормальная рекомендация в случае метода тестов состоит в том, чтобы вводить нижнюю границу для оценки «отлично» в районе ППО=80 (!). При этом получим совсем немного отличников — не более 10 процентов скорее всего (!). Границу оценки «хорошо» надо делать тогда не 70%, а 65%, тогда у нас будет примерно 30-40 процентов «хорошистов». Ну а разумная граница для «удов» — это 50%, что даст примерно 30-40 процентов троечников. Тогда у нас будет не более 10-15% «хвостистов», которые не справятся с итоговым тестом на усвоение курса.

Вот такие премудрости, связанные с почти полувековым опытом использования метода тестов для контроля результатов обучения, я могу Вам поведать на нашей дистанционной зимней школе «Конструирование тестов знаний». Кстати, пока имеем на этой школе 10 зарегистрированных (оплативших) участников. Нужно до 23 января привлечь еще 5 человек, чтобы возникла полноценная группа численностью 15 человек. Почему это важно? — Потому что тогда участники вместе создадут достаточно рабочий (многочисленный) банк учебных тестовых заданий и статистика даст им хорошую обратную связь, насколько удачными оказались эти задания.

На приведенном весьма условном графике я решил упростить цифры, чтобы… облегчить понимание. График построил сам автор с помощью программы MS Excel