Итак, три дня отведенных на наш условный конкурс (на самом деле очень дружеский) завершились! На удивление тест оказался популярным. Его выполнили уже 61 человек (и это еще не окончательная цифра — мы продолжаем держать тест открытым). Причем более трети (22 человека, или 37%) показали максимальный 100-процентный результат (!). Вот как выглядит гистограмма распределения тестовых баллов:

Из претендентов на льготное участие в нашей школе мы пока выбрали третьего участника (третьим показавшего 100-процентный результат по времени, а первые двое — это два наших сотрудника-методиста, которые, разумеется, выступили вне конкурса). Имя этого победителя — Анастасия (мейл, разумеется, я скрываю). Надо сказать, что из 20 победителей 12 указали все-таки свой мейл. Мы, видимо, напишем приглашение каждому. Ну а там посмотрим, будут ли среди них желающие участвовать в нашей летней школе КТЗ-25.

Что еще интересно заметить? — Много было очень легких заданий (я намеренно вначале такие поставил, чтобы возник комфортного 100-процентного понимания и обучаемости). При этом интересно то, что самый высокий показатель КД (коэффициент дискриминативности) обнаружен у самого трудного последнего задания. По наполнению клеток четырехклеточной таблицы сопряженности (ЧТС) мы видим, что ошибочные ответы дали только представители «низкой группы» — люди с общим низким баллов по тесту (относительно низким). Таких оказалось в клеточке D (в правой нижней), как видим, всего 17 человек. А вот из высокой группы ни один испытуемый не ошибся: в левой нижней клеточке C стоит значение 0. Кстати на этом скриншоте указано, что тест уже выполнили не 61, а 62 человека. Это пока я писал данную статью появился еще один протокол…

Средняя продолжительность выполнения 15 заданий — 11 минут. Но… появился и такой участник по имени Александр, который показал 100-процентный результат быстрее, чем за 5 минут (!). Так что в данном случае различия скорее проявились в скорости выполнения, чем в набранных баллах. Тоже любопытный факт!

Ниже повторяю исходный текст приглашающей статьи.

=========================

Уважаемые коллеги!

Я уже более 40 лет преподаю такую особую дисциплину как «Разработка тестов» (Test construction). Из них 40 лет я преподавал эту дисциплину в формате спецпрактикума для весьма одаренных студентов МГУ имени М.В.Ломоносова. Среди этих студентов тоже встречались иной раз субъекты со слаборазвитым логическим мышлением, но большинство справлялись вполне успешно. Более серьезные проблемы у меня начались, когда я стал предлагать аналогичный практикум другому контингенту — людям, которые называют сами себя «эйчарами», но при этом получили …гм…самое разное образование, иной раз весьма «условное», и редко кто из них изучал математическую логику.

Вот тут-то примерно половина участников практикума начали сталкиваться с существенными проблемами. Проблемы эти начинались буквально с первого экрана на моих слайд-лекциях, где я предлагаю воспользоваться «круговыми диаграммами Эйлера». Оказалось, что сам язык этих диаграмм участникам наших онлайн-курсов оказывается малознакомым, слишком абстрактным, неестественным (?!). А ведь эти диаграммы — надежный и наглядный инструмент, который позволяет в явном виде описать структуру ключевых утверждений в тестовых заданиях, добиться безупречной логики в этих заданиях — особенно в тестах на знания и способности.

Сейчас в преддверии летнего цикла занятий хотелось бы Вам предложить выполнить такой тест:

https://test.ht-inc.ru/test/9efd4f3c295bee707114b3d126293c51

Это тест займет у Вас не больше 7-10 минут и позволит достаточно надежно измерить степень Вашей готовности к восприятию материалов нашего дистанционного курса. Вот ссылка на лэндинг самого курса «КТЗ-25», где на него можно сразу же записаться (скриншот ниже — кликабельный):

КТЗ-25

ВАЖНО: предложенный вам тест «Логические круги» является не только измерительным, но во многом обучающим. Ведь после каждого задания Вы будете получать обратную связь о том, насколько ваш ответ оказался правильным. Этот тест без преувеличения поможет Вам подготовиться к нашим занятиям, если Вы уже настроены на то, чтобы в этом сезоне принять в них участие.

=========== ОТДЕЛЬНЫЕ ПРИМЕРЫ ЛОГИЧЕСКИХ ОШИБОК =============

В ходе занятий нашего практикума слушатели должны оценить логическую правильность заданий, которые создают другие участники. Каким образом? — А мы применяем особую онлайн-процедуру взаимной круговой оценки: каждый оценивает задания созданные другими участниками и, в свою очередь, получает оценки и комментарии к своим заданиям. Уже в ходе таких взаимных оценок и комментариев проявляются логические ошибки как у авторов тестовых заданиях, так и у тех же авторов, выступающих в роли «экспертов — оценщиков».

Даю упрощенный пример из такой научной сферы (биологии), которая со школьной скамьи известна всем, как строгая логическая классификация видов животных, анатомические и функционально-поведенческие свойства которых давно и хорошо изучены.

Предположим, начинающий автор формулирует свое задание так:

Укажите единственной правильное суждение из данного набора суждений:

а) парнокопытные кормят своих детенышей молоком

б) птицы умеют летать

в) только рыбы умеют плавать под водой

Очевидно, что автор задумал задание так, что правильный (ключевой) ответ — это суждение А про парнокопытных. Но некоторые «эксперты-оценщики» обрушивают на такое задание следующую критику: они утверждают с пылом и жаром, что задание содержит больше одного правильного ответа. Объяснение такое: ведь в самом деле большинство птиц умеет летать, ведь это отличительный признак именно птиц в отличие от других «хордовых» — приспособленность к полету (!).

На самом деле надо бы более осторожно критиковать автора этого тестового задания — лишь за то, что он не указал точный логический объем суждения В — относится ли оно ко всем птицам или к некоторым. Чтобы суждение Б было заведомо ошибочным (так называемым «дистрактором») надо было бы написать так: «Все птицы умеют летать». А если бы хотели сделать это суждение истинным, то надо было бы написать так «Некоторые птицы умеют летать». В первом случае слово «все» — это естественно-речевой аналог так называемого логического оператора «квантор всеобщности». Во втором случае слово «некоторые» — это естественно-речевой аналог логического «квантора существования».

Нередко определенная «демагогия» (не вполне логичное умствование) возникает и по поводу суждения С. Хотя мы видим, что в данном случае автор попытался использовать логически важное слово «только», чтобы избежать критики. Но люди со слаборазвитым логическим мышлением начинают и здесь «мудрствовать»: киты и дельфины не являются рыбами, да, но… они не плавают, а ныряют; в том смысле, что не дышат под водой. Так что… получается у них, что все три суждения оказываются правильными (!).

Еще пример ситуации, когда споры возникают вокруг заданий, которые в принципе составлены достаточно правильно, но провокационно в логическом смысле — то есть у людей со слабым логическим мышлением такие задания провоцируют логические ошибки.

Укажите народ Российской Федерации, у которого национальный танец — лезгинка:

а) осетины

б) татары

в) калмыки

Темпераментные представители других кавказских народов, которые тоже танцуют лезгинку, считают в данном случае необходимым не только возразить, но даже… ОБИДЕТЬСЯ (?!). Мол, как так?! — Вы не назвали здесь дагестанцев (кабардинцев, аварцев, ингушей и т.п.). Приходится долго, терпеливо и уважительно объяснять, что тестовое задание отличается от параграфа в учебнике тем, что оно НЕ обязано содержать полное перечисление всех возможных правильных ответов. Достаточно только иметь один правильный ответ! И в данном случае один правильный ответ есть — это ответ А. А все остальные ответы Б и В не являются правильными.

Примеров можно было привести гораздо больше, но надеюсь продолжить этот разговор с теми читателями, которые станут слушателями нашей летней школы КТЗ-25.

P.S.

С появлением нейросетей типа ChatGPT или DeepSeek возникла такая иллюзия, что эти системы могут освободить разработчика тестовых заданий от… всякого логического напряжения. На самом деле это не более, чем иллющия. В рамках летней школы мы запланировали особый вебинар, на котором детательно и на примерах покажем, как необходимо СВОИМ УМОМ работать — критически проверять те задания, которые в большом количестве могут Вам «нагенерить» эти системы.