Итак, коллеги, за минувшие выходные мы собрали 22 протокола с ответами на наш короткий шуточный тестик «Старые песни о космосе». Это, конечно, маловато, но… взгляните ниже: уже такая маленькая выборка позволяет применить статистический подход к анализу качества тестовых заданий.

ВНИМАНИЕ: кто еще хотел бы пройти тестик, то сделайте это по ссылке, которую я привожу в конце статьи. Сделайте это ДО чтения, а иначе эта статья превратит Вас в «испорченного испытуемого» 🙂

Итак, из пяти заданий два оказались удачными! — По ним получен вполне достойный коэффициент КД — «коэффициент дискриминативности». Подробности о том, как устроен этот коэффициент КД и как его применять мы рассматриваем в нашем практикуме на дистанционном курсе «Конструирование тестов знаний» КТЗ-25. приглашаем желающих записаться на летнюю программу КТЗ-25:

https://ht-line.ru/ktz

ВНИМАНИЕ: Те наши коллеги, которые являются участниками наших проектов (например, это победители тест-конкурсов в рамках КИТТ), имеют право на индивидуальные скидки! По вопросу о размерах скидок просьба обращаться по адресу lk@ht.ru (Лисица Ирина Анатольевна).

Мы проводим курс КТЗ в проектном формате. Участники выполняют совместный проект: создают собственные задания и проверяют в эксперименте, как они работают. Получив на руки распечатки с результатами (см. ниже образцы) участники выступают с докладами, закрепляя в устной форме и в публичном режиме свои навыки анализа своих же тестовых заданий.

Итак, покажем здесь три примера, как мы анализируем тестовые задания.

Итак, первое же задание в нашем шуточном тесте оказалось очень удачным: КД значительно превышает заветную границу 0,3 и равняется 0,75, а это уже значимый статистический результат даже на маленькой выборке всего лишь в 22 участника. Почему это оказывается возможным? — Уж очень кажется нашим относительно молодым испытуемым маловероятным (тем, кто не слышал самой песни), чтобы космонавты перед стартом… «закуривали». Ныне даже спортсмены уже не курят, даже не все молодые женщины курят (пытаются теперь иначе бороться с лишним весом), а тогда… тогда в 1960-е годы казалось, что «крутые парни» — летчики-испытатели (из них был сформирован, как известно, первый отряд космонавтов), дымят перед стартом ну прямо-таки как воины-разведчики перед тем, как им пойти на дело — «брать языка». Поэтому в известной песне военных лет звучали слова «Давай закурим, товарищ, по одной…». Поэтому Владимир Войнович (сам, видимо, отъявленный курильщик) и включил в припев этой песни слово «закурим». Пришлось позднее — не школьных утренниках — объяснять школьникам, что в их случаях надо заменять слово «закурим» на «споемте» или на «присядем» 🙂

Но для нас факт остается фактом: это задание успешно различают 2 разные категории испытуемых: знатоки отличаются от тех, кто пытается «руководствоваться здравым смыслом». Знатоки выбирают правильный ответ «закурим», а те, кто пытается только строить догадки, выбирают другие ответы — ложные (дистракторы, которые только кажутся правдоподобными). Знатоков, как видим, оказалось только 45% — меньше половины (см. скриншот ниже).

Также удачным оказалось и задание номер 4 в этом крошечном тестике. Хотя в этом случае КД не такой высокий, но все-таки 0,5 — это тоже очень высокое значение. Те, кто пытался догадаться, но не слышал самой песни, указывали, что надо вставить слова «пилотов» и «самой орбиты». Ну да, я их понимаю! Это выглядит немножко смешно (куда уж ближе орбиты лететь?), но все-таки не так абсурдно как «долетать до самого Солнца» (зачем? — ведь можно сгореть заживо!). Но, как говорится, из песни слова не выкинешь. В оригинальном варианте присутствуют и смешное слово «питомцы», и предлагается этим питомцам лететь аж до «самого Солнца». Понятно дело, что поэт Евгений Долматовский, видимо, руководствовался рифмой и … ярким образом горящего на небосклоне Солнца (!). Очевидно, что со времен египетских астрологов для всех древних жрецов, философов, да и для современных поэтов именно самая яркая звезда, какой является Солнце, была самой почетной целью «небесного путешествия» 🙂

Мы видим, как задание 4 опять-таки отлично провоцируют «догадливых» на ошибки. В этом случае мне (автору тестика) опять удалось придумать удачные дистракторы.

Но … «не все коту масленица», как говорится. Вот пример задания номер 3, когда мне не удалось придумать удачные дистракторы. Я сам погнался за рифмой и придумал очень и очень нелепые «ложные ответы» — такие, которые без труда распознали как ложные все, кто пытался руководствоваться элементарным «здравом смыслом»: даже не слышав никогда этой песни, все 22 человека догадались, что правильный ответ — это «яблони цвести» (см. третий скриншот ниже). Ну и что получили:? — Нулевое значение КД, то есть нулевую информативность и дискриминативность данного тестового задания.

Таким образом, Вы видите, как даже небольшая выборка в сочетании с нашим онлайн-сервисом HT-LINE (сервисом по анализу каждого задания), уже позволяет выполнить весьма любопытный анализ качества тестовых заданий в крошечном тестике знаний. А ведь в практикуме КТЗ у нас, как правило, задействованы тесты, в которых имеется до 60 заданий (по 20 штук на каждую из трех разных тем). При этом каждый из 10 участников-авторов (проектная группа такой численности является оптимальной) придумывает по 6 заданий и анализирует их после получения ответов от 50-100 испытуемых — анализирует, как работают именно его задания. Откуда мы берем 50-100 испытуемых? — В этом нам исправно помогают наши участники проекта КИТТ — участники Клуба Испытателей Тестовых Технологий. Вот здесь официальный сайт клуба:

https://kitt-club.ru

Если Вы сами еще не являетесь участником проекта КИТТ, то напоминаю, что зарегистрироваться в этом проекте можно очень и очень просто: не требуется ни давать свои подлинные ФИО (допустима регистрация по псевдонимом), ни придумывать какой-то особый пароль (система сама присваивает Вам определенный код, которые встраивается в приглашающие гиперссылки). Важно только указать правильный адрес своей почты, чтобы получать на нее приглашающие персональные ссылки — для входа за один клик (!).

На фото обложки Вы видите, как на сайте клуба выглядит анонс нашего шуточного теста «Старые песни о космосе». Разумеется на картинке ссылка на тестик не является кликабельной. Поэтому повторю здесь эту прямую ссылку, если Вы захотите вдруг сами пройти все пять заданий:

https://test.ht-inc.ru/test/296700dd24aa0fcb0316186e27999195

P.S.

В прошлом году мы как-то раз попытались предложить студентам (и их научным руководителям) наш готовый сервис по анализу тестовых заданий в системе HT-LINE. Для этого предложили арендовать личные кабинеты-студии на льготных условиях ( с первым бесплатным периодом). Но…оказалось, что желающих практически нет. Вы можете объяснить, почему это у нас так происходит? Неужели все научились без нас все анализировать с помощью статпакетов или дописываю нужные формулы в Эксель? — По моему опыту это не имеют делать 95% наших «специалистов по оценочным технологиям». Деловое предложение повторяю уже не раз: пишите заявку на lk@ht.ru, чтобы познакомиться с возможностью не только собирать данные по собственным тестам знаний в режиме онлайн, но и выполнять автоматизированный анализ качества тестовых заданий. Разумеется, выпускникам наших дистанционных курсов мы предлагаем использовать личные кабинет-студии с огромной скидкой.