Итак, за последнюю неделю к нашим результатам по шуточному тестику «Буба-Кики» добавилась еще одна сотня протоколов. Это подключились подписчики нашего проекта КИТТ, которым мы разослали приглашение на этот тест по э-почте.

Теперь у нас почти 2 сотни протоколов (точная цифра — 196), и мы можем сравнить, какими были и какими стали коэффициенты КД для каждого задания. Если Вы посмотрите мою публикацию результатов от 21 мая, то увидите сами, что коэффициенты КД не изменились существенно: разность по модулю составляет на больше 0,05 (пяти сотых)! Анализ всех пяти заданий этого крошечного тестика я показываю ниже. Это анализ, автоматически выполненный в нашей системе HT-LINE 3.0.

Таким образом, мы вполне можем сделать такой вывод, что выборка вдвое меньших размеров, которая у нас была 21 мая (96 человек), уже дает нам коэффициенты КД с достаточной точностью. Так что на выборках размером в районе 100 человек (в соответствии с рекомендациями «Стандарта тестирования»), мы уже можем увидеть неудачные задания — с низким КД — и можем убирать их из теста (!). В данном случае явно неудачным заданием можно считать задание номер 4 (там где мужчина — толстый, а женщина — стройная, то есть на его фоне даже худенькая). Мы видим, что при ответе на это задание номер 4 наблюдается слишком высокое единодушие испытуемых, то есть почти все дают правильный ответ: 96% отвечает, что «Буба — это мужчина». Поэтому на фоне такого единодушия КД физически не может стать высоким.

Спорный вопрос — удалять или оставлять задание номер 2? Ведь тут тоже процент правильных ответов выше 0,9, а КД автоматически оказался ниже 0,3 (равен 0,17, как мы видим). Поделюсь своим опытом. Я бы оставил это задание. И знаете, почему? — Потому что, как правило, такие задания хорошо поставить самыми первыми в тесте: они помогают испытуемым лучше понять задачу (ведь инструкцию большинство, как правило, внимательно не читает!).

Вам понравился такой анализ? Вам хотелось бы самим попрактиковаться в подобном анализе собственных тестовых заданий? — Тогда милости прошу на нашу летнюю дистанционную школу «Конструирование тестов знаний» :

КТЗ-25 (клик сюда!)

P.S.

Что еще наглядно иллюстрирует наш шуточный эксперимент «Буба-Кики»? — Он иллюстрирует вполне наглядно, что легкие задания, на которые большинство (более 80 процентов) дают правильные ответы, могут обладать вполне удовлетворительным значением КД. По заданиям с номерам 1, 3 и 5 коэффициент дискриминативности оказывается в районе 0,4. Вот эти три задания и являются опорными для следующей версии подобного тестика — более точной и продуманной версии 2.0. Вот эти три задания и следует обязательно оставлять в следующей версии (!)

P.S.2

Не обязательно иметь выборку в 100 человек, чтобы выявить явно неудачные задания. Обычно они видны уже на выборке в 30 человек (!).