Коллеги и друзья.

Начну с рассказа про свой «случай из жизни». Бывает, что это необходимо для разрыхления контекста.

Я на всю жизнь запомнил такой эпизод, который случился со мной лично в 1971 году — во время устного вступительного экзамена по биологии. Я поступал тогда на факультет психологии МГУ, и конкурс был жесткий тогда — 15 человек на место. Мне достался второй вопрос по билету с такой формулировкой «Приспособленность птиц к полету». Представьте себе, что я в ответе умудрился не упомянуть про «киль» (такую специальную кость в грудном отделе скелета, к которой у птиц крепятся мощные мышцы, позволяющие работать крыльями в полете). Два молодых сотрудника биофака (девушка и мужчина) со смехом мне напомнили про этот самый «киль». Со смехом, так как уже собрались мне ставить «отлично» после прекрасного (по их выражению) ответа на более трудный первый биохимический вопрос. Я бы очень смущен своей рассеянностью, их смехом и запомнил этот случай на всю жизнь… Ну а теперь по существу дела.

* * *

Рассмотрим немного искусственный тестовый вопрос. При этом используем биологическую классификацию, чтобы прояснить одну из логических проблем, которая постоянно возникает в ходе тестирования знаний, особенно в ходе массового тестирования.

Какой класс животных имеет такой ключевой отличительный признак как «приспособленность к полету»?
= птицы
= млекопитающие
= рептилии
= земноводные

В этом случае из 100 всегда найдутся 1-2 педанта-буквоеда, которые вспомнят про… пингвинов: мол, пингвины, будучи птицами, летать не умеют, и вспомнят заодно про летучих мышей, которые, будучи млекопитающими, летают. И эти педанты будут придираться, всерьез доказывать, что задание является некорректным. Хотя ведь совершенно очевидно, что правильный ответ укажут почти 100 процентов разумных людей.

ВОПРОС. Нужно ли, как Вам кажется, вставлять в текст такого задания оговорки о том, что типичные признаки не обязательно наблюдаются в 100 процентах случаев, что из 100 процентов почти всегда бывают исключения, тем более, что разных видов птиц — многие тысячи (!). Это ведь все равно что спросить «А сколько ног у человека?». — А педант Вас будет переспрашивать, а одноногий или безногий инвалид — это разве не человек?

И ЕЩЕ ПРО ПЕДАНТОВ: ЧТО МОЗИЛЛА, ЧТО ГОДЗИЛЛА

А кроме придирок насчет «пингвинов» (и разных других атипичных случаев) педанты обожают находить ошибки в ложных ответах (в дистракторах). Например, если Вы им предъявите такое задание:

Укажите вид животных, который относится к классу млекопитающих:
= утконос
= варан
= черепаха
= мозилла

Что скажет педант? — Будет придираться обязательно к «мозилле». Будет объяснять на полном серьезе, что это не животное, а браузер. И к Годзилле тоже будет придираться 

 Без признаков ЧЮ.
Хотя ложным ответом может быть какой угодно ответ, но, чтобы не было «шквала апелляций», приходится очень серьезно подходить к дистракторам — без шуточек.
Далее последовали комментарии коллег в группе TESTbyTEST на Фейсбуке. Я не буду их цитировать. Хотя про курицу, конечно, вспомнили. Почему я их не цитирую? — См. мой ответ ниже в рамках так называемого «главного комментарий».

ГЛАВНЫЙ КОММЕНТАРИЙ

Коллеги, я все-таки добился своего. Некоторые коллеги НЕ утерпели и продемонстрировали свои углубленные познания в области биологической классификации животных 

 Значит, тема очень даже актуальная!

Дорогие коллеги!

Все дело в том, что метод тестов предполагает ряд допущений, которые невозможно в явном виде описывать в инструкции к каждому тесту и тем более к каждому заданию. Это следующие допущения:

1) Вопросы стандартизированного теста являются краткими и не могут содержать всех подробностей, не могут включать исчерпывающее перечисление всех возможных случаев, тем более редких.

2) В условиях к заданиям стандартизированного теста представлены наиболее типичные ситуации. Эти ситуации могут показаться нетипичными для какой-то части респондентов — это обычная практика.

3) Особенные респонденты (тестируемые), как правило, не получают точных оценок с помощью метода тестов. Их знания, умения, навыки и личностные особенности требуют оценки с помощью других, нетестовых методик или создания особенных тестов. Эксперты в определенных областях — это особенные люди. Поэтому они требуют особенных тестов.

А вот и важный организационно-методический вывод, который редко воплощается в практике применения метода тестов, ибо требуют нередко трудоемкой работы и решения непростых этических вопросов.

4) Правильно организованное тестирование должно предоставлять возможность наиболее продвинутым специалистам писать свои развернутые комментарии к таким тестовым заданиям, которые они считают спорными. Эти комментарии позволяют им проявить свои особые знания — в режиме индивидуального экспертного анализа их развернутых ответов и комментариев.
Но… тут же возникает вопрос: а как защитить организаторов тестирования от кверулянтов (сутяжников) и графоманов? — Есть решения, но они до сих пор плохо апробированы в условиях массового тестирования. Принцип такой: за любую апелляцию участник должен платить «повышением ставок». Если ты оказался не прав, то ты теряешь не просто очко (тебе засчитывается неправильный ответ), а больше. Это как в карточной игре типа «бридж» (более простая версия бриджа — всем известный «преферанс»).

Кстати, если вернуться к биологической классификации видов. То биологи давно уже разработали специальные понятия, которые описывают специфичные виды животных — идиоадаптация и ароморфоз. Вот эти понятия мы и должны объяснять педантам, которые НЕ понимают тех ограничений и допущений, на которых базируется метод тестов.

И еще раз про логику. Естественный язык не очень четко позволяет эксплицировать, о чем вообще идет речь в вопросе. Вопрос-то был не про КАЖДЫЙ ОТДЕЛЬНЫЙ ВИД птиц, а про класс в целом. Именно класс птиц имеет общие типичные характерные признаки, которые НЕ имеют другие указанные классы. Например, это КИЛЬ — такое строение грудной части скелета, которые позволяют прикрепляться мощной летательной мускулатуре.

Ваш АШ

P.S.
Между прочим поведение педантов имеет не только рациональные (когнитивные), но и эмоционально-мотивационные основания. Сам по себе тестовый экзамен — это стрессовое испытание, которое у человека, имеющего особые познания в какой-то области (высоко себя оценивающего в этой области) вызывает не вполне управляемый и не вполне рациональный ПРОТЕСТ. Этот протест очень хочется излить на авторов тестовых заданий. И вот-вот-вот… кажется, что подходящий повод подвернулся. Вот он — ПИНГВИН (!).