Хронометрические шкалы в тестах на сложность (интерактивный пример на материале шахматных задачек)

Коллеги, еще раз предупреждаю: ссылка на интерактивный пример приводится в конце статьи. Там Вы сможете попробовать свои силы — решить в режиме реального времени легонький шахматный этюдик — тест на сложность.

* * *

Как Вы знаете, множество тестов классифицируется в тестологии по разным основанием. Один из классифицирующих признаков позволяет различать тесты на скорость и тесты на сложность. В компьютерной психодиагностике и в тестах знаний мы, как правило, имеем дело с тестами на скорость: дается множество нетрудных задачек и их надо решить как можно быстрей, иными словами — пройти как можно больше за ограниченное время. Балл по тесту в этом случае — это сумма решенных легких задачек.

Другое дело — тесты на сложность. Такой тест может состоять всего лишь из нескольких задачек (пример — вариант олимпиадного конкурса) или даже только из одной задачки, над которой приходится думать десятки минут, а то и часы. Время решения такой задачи и является показателем успешности. Как правило, в таких тестах дается поле ввода — для ввода свободного ответа (здесь, как правило, не бывает готовых ответов на выбор).

При психометрической адаптации тестов на сложность главная забота — это калибровка так называемой «хронометрической шкалы». Надо построить распределение тестовых баллов для определенных интервалов по продолжительности «латентного времени реакции» (времени решения задачки). В этом случае на представительной выборке испытуемых производят сортировку данных по убыванию времени решения и строят интервалы либо для квартилей (для каждой четверти выборки), либо — для децилей. Во втором случае, разумеется, требуется иметь выборку бОльших размеров. Разумный совет — разбивать шкалу на такое количество интервалов, чтобы в каждый попадало не менее 10 наблюдений. Поэтому для получения децильной шкалы (из 10 интервалов), надо иметь в выборке результаты не менее 100 испытуемых. А если у Вас только 50 испытуемых, то Вы не можете получить хронометрическую шкалу более подробную, чем в 5 интервалов.

В нашем очень простом шахматной этюде (чисто иллюстративном) Вы получите в отчетк словесную обратную связь, основанную на пяти интервалах на хронометрической шкале:

https://chess.ht-inc.ru/test/bf6c2a2f0a797ccd1d318ad48fbbcfef

Данная задачка не потребует от Вас никакой регистрации. Хотя… в отзыве на странице результатов Вы можете указать свои ФИО и мейл. Это позволит Вам получать на свой адрес приглашения из клуба КИТТ — на испытание наших инновационных разработок в области компьютерного тестирования.

Важно: внимательно почитайте инструкцию к этому крошечному шахматному этюду «Мат в один ход». Если управление фигурами в случае работы на компьютере выполняется совершенно интуитивно (надо просто «тащить-бросать» фигурку с помощью курсора мышки), то в случае планшета-смартфона мы реализовали совсем недавно несколько иной интерфейс управления: приходится указывать ход с помощью трех кликов на доске. Каких? — Почитайте инструкцию.

Впрочем, логика трех кликов понятная. Ведь когда Вы выполняете обыкновенный онлайн-тест с выбором ответа, то выбранный Вами ответ вовсе не сразу «улетает в базу данных». Вы ведь можете второпях промахнуться и выбрать на экране не тот ответ, который хотели. Поэтому требуется еще одик клик для перехода на следующее задание — подтверждение. В нашем плейере тестирования можно делать этот повторный клик по кнопке-команде ДАЛЕЕ, а можно — делать двойной клик по правильному ответу (или тому, который Вы считаете правильным).

комментировать

5 ответов

  1. Алексей Валерьевич Беляев

    Очепятка. «Поэтому для получения децильной шкалы (из 10 интервалов), надо иметь в выборке результаты не менее 10 испытуемых»

    1. Александр Шмелев

      Да, Алексей, Вы правы. Надо было написать 100, а получилось 10. Еще один ноль «не дописался». Сейчас исправлю эту опечатку в статье. Спасибо!

  2. Андрей

    Очень рад участвовать в шахматных конкурсах!

  3. Дмитрий

    Расчет времени не корректный. Я решил задачу за 3-5 секунд и походил фигурой, но 30 секунд думал компьютер, прежде чем признать поражение.

    1. Шмелёв А.Г.

      Дмитрий, к сожалению, сетевые задержки никогда нельзя исключить. Но необходимо научить нашу шахматную программу дифференцированно измерять время на ответ игрока и время на ответный ход компьютера. Вы правы! Прошу Вас написать подробности (если сможете) на адрес lk@ht.ru. Они необходимы для нас, чтобы проанализировать Ваш случай (по журналу всех ходов во всех партиях, который автоматически создается на сервере). СПАСИБО ЗА КРИТИКУ!


Добавить комментарий для Андрей Отменить ответ

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Актуальный опрос

Рубрики

Последние комментарии:

  1. Андрей, Вы с какой-то формально-юридической позиции подошли к вопросу. Вот пример более содержательного заключения (автор — Наталья Лебедева): https://psy.su/feed/12919/ Я…

Облако меток