Продолжаю серию коротких публикаций под общей рубрикой «Азбучные истины научной тестологии».

В нашей дистанционной Зимней школе «Конструирование тестов знаний» мы пытаемся добиться от наших слушателей привычки оперировать некоторыми техническими понятиями и аббревиатурами. Одно из них — это ППО для тестовых заданий. ППО означает — процент правильных ответов. Это критически важный параметр любого тестового задания. Его важно измерить в предварительном эксперименте прежде, чем начать массовое применение теста. Эксперты-авторы очень часто промахиваются при определении ППО «на глазок». Но… и после измерения важно с ППО работать РАЗУМНО (!). Если для какого-то задания обнаружилось, что оно трудное и ППО менее 30%, то лучше… такое задание вообще выкинуть из теста как «слишком трудное» (!). Почему? — Да потому что такое задание дает преимущество людям, выполняющим тест фиктивно — с помощью тактики случайного угадывания.

Представьте: если в задании 4 варианта ответа, то правильный ответ можно угадать в одном случае из 4х, то есть с вероятностью в 25%. Тем самым испытуемый-бракодел будет получать на таких заданиях те же самые 25%, что и добросовестный испытуемый, так что мы таких разных двух человек просто НЕ сможем дифференцировать — различать с помощью таких заданий. Но… более того, стараются избегать и заданий с ППО=30% тоже. Почему? — А потому, что с определенной долей везения испытуемый-бракодел (прибегающей к тактике случайного ответа) может набрать даже 15 правильных ответов из 50 в тесте, то есть 30%.

Вот поэтому-то всю зону от 0 до 30% в тестологии чаще всего считают неприемлемой «зоной случайного угадывания». Это объясняет, почему лучше работают тесты со сдвигом в сторону более легких заданий, так чтобы средний ППО для всех заданий в тесте был где-то между 60 и 70 процентами правильных ответов. Это к тому же создает для большинства испытуемых комфортное ощущение, что они «что-то все-таки знают».

* * *

Занятия в дистанционной школе «Конструирование тестов знаний» начнутся 23 января. Пока не хватает пятерых для полноценной группы (а 10 человек уже есть).

Картинку нарисовал сам автор в PC PAINT. Ну уж как смог — не судите слишком строго.