В книге «Практическая тестология» я опубликовал 12 этапов (см. страницы 137-169), но в нашем зимнем цикле практических занятий «Конструирование тестов знаний» мы предлагаем слушателям упрощенную схему — из 7 этапов. Ну в самом деле 7 шагов — это оптимальное число с точки зрения закона «семь плюс-минус два», а 12 шагов — это то, что лежит уже за пределами обычной оперативной памяти 🙂 Кстати, о книге «Практическая тестология». Осталось в наших закромах считанное число подарочных экземпляров. Мы их дарим победителям неформальных конкурсов авторов тестовых заданий — конкурсов, которые регулярно проводим в рамках зимнего практикума:

https://ht-line.ru/archives/1854

Кстати, наш зимний практикум КТЗ-25 начинается совсем скоро — уже 20 января 2025. Поспешите, если Вы планируете записаться. Запись — на указанной выше странице.

Ну а тем, кто сомневается, что Вам даст этот цикл занятий, то расскажу здесь немного про 7 шагов — о том, почему это знание является технологичным, то есть позволяет разрабатывать и применять качественные тесты знаний. На занятиях Вы не только познакомитесь с этими шагами в курсе теоретических лекций, но большинство этих шагов будут смоделированы в ходе учебного проекта. Поэтому мы называет курс КТЗ-25 словом «практикум».

Очень часто из фокуса внимания новичков выпадают целых ПЯТЬ этапов из семи необходимых (!). Остаются только два: авторский цикл и массовое тестирование. К чему это приводит? — К тому, что сырые авторские задания без всякой экспертизы и апробации, то есть «с колес» применяются в официальном массовом тестировании. В результате… сплошные разочарования в самом методе тестов. А ведь это все равно что… разочароваться в борще, нарушив все этапы приготовления этого всемирно известного первого блюда (!) Продолжим эту грубую кулинарную аналогию: недостаточно бросить в кастрюлю сырую свеклу и кусок мяса, надо кое что еще сделать заранее…

Итак, о семи шагах в семи абзацах:

1. Рассмотрим очень коротко самый первый и, пожалуй, самый важный этап для выбора правильных ориентиров. Что такое задача? — Это цель в заданных условиях. Подумайте хорошенько, прежде чем начинать, а в каких условиях Вы применяете метод тестов? Например, если Вы менеджер по персоналу, то задайтесь вопросом: «Что за кадровая ситуация у Вас на рынке имеется: избыток или недостаток кандидатов на вакансию?» В зависимости от этого требуется создать либо более трудный тест (если избыток), либо более легкий (если недостаток). А многие как действуют? — Что-то слышали о том, что оптимальные тестовые задания — это такие, с которыми справляются примерно половина тестируемых (то есть правильные ответы и ошибки делятся по принципу «фифти-фифта»). Ну и применяют этот принцип всегда и без разбору. Анализ условий помогает выбрать правильно не только трудность тестовых заданий, но и формат. В случае дефицита кандидатов не стоит заставлять решать сложные задания с вводом свободного ответа (тем более задания типа «открытый кейс»).
   
2. Переход от первого этапа ко второму сразу оказывается ясным и понятным, когда контуры ЗАДАЧИ определены четко и ясно. Модель теста просто должна органично вытекать из понимания задачи, то есть цели тестирования и условий, в которых эту цель предполагается достигать. Что относится к модели? — Конечно, состав субтестов! А каков должен быть размер минимального тематического раздела субтеста (для того, чтобы по нему отдельно выводить результат — хотя бы в виде простейшего балла на шкале ППО — процент правильных ответов)? — Этот и другие вопросы заставляют разработчиков, наконец, обратиться к «Российскому стандарту тестирования персонала». Причем не поверхностно его пролистать, а поработать с ним как с ценным справочником — активно искать в нем ответы на правильно сформулированные актуальные свои собственные вопросы (!).
   
3. Авторский цикл. Почему мы рекомендуем, чтобы авторов у теста было больше одного (распространенная практика, когда он один)? Дело в том, что наличие нескольких независимых друг от друга авторов уравновешивает (балансирует) определенные перекосы в трактовке «проблемного поля», которые имеют в сознании каждого отдельного автора. Это умозрительное утверждение крайне трудно осмыслить без… практикума, то есть вне учебного проекта. Поэтому-то мы делаем акцент в нашей зимней школе именно на практических занятиях: все участники превращаются в авторов и видят, как по-разному разные авторы трактуют одно и тоже проблемное поле (тематическую область), как по-разному трактуют трудность, как по-разному формулируют дистракторы (отвлекающие ложные ответы) и т.п.
   
4. Экспертный этап. Авторский и экспертный этап в нашем практикуме тоже органично перетекают один в другой. Этого мы добиваемся благодаря тому, что роли авторов и экспертов у нас выполняют одни и те же лица — участники практикума. На экспертном этапе у нас работает технология «встречной перекрестной онлайн-экспертизы». Наша компьютерная программа HT-LINE позволяет скрыть имена авторов тестовых заданий, так что каждый участник видит задания, созданные другими участниками практикума, и оценивает их качество и трудность совершенно объективно (без участия каких-либо симпатий или антипатий или текущих инерционных установок, ибо задания разных авторов в ходе экспертного диалог ПЕРЕМЕШИВАЮТСЯ). В результате экспертного этапа достигается экономия сил и средств на этапе апробации: если мы сокращаем банк заданий хотя бы на 10-20% (за счет отсева явно неудачных заданий экспертами), то требуется меньше испытуемых и меньше времени на следующем этапе пилотного тестирования (апробации).
   
5. Очень многим нашим конкурентам просто слабо реализовать такой практикум, когда требуется собрать ОТВЕТЫ на сырые, весьма еще неказистые учебные задания — причем не менее 30 ответов реальных независимых испытуемых (это уже вовсе не участники-авторы, а совсем другие лица). А мы — благодаря наличию у нас таких многолетних проектов как бесплатный клуб КИТТ (Клуб испытателей тестовых технологий) собираем на каждое задание даже более 50 ответов. Это дает возможность вооружить каждого участника-автора ценнейшей обратной связью — в виде ЧТС (четырехклеточной таблицы сопряженности) по каждому заданию.
   
6. Да, в практикуме мы не проводим массового тестирования как такового, но, как я уже написал выше, наше пилотное тестирование оказывается достаточно представительным по размерам выборки и оно уже моделирует массовое тестирования в значительной мере. Каждый автор анализирует по каждому заданию полученную ЧТС и подсчитанный (автоматически) КД — коэффициент дискриминативности. Это позволяет в кратчайшие сроки (в пределах одной недели) не только собрать данные, но каждому автору поработать с результатами тестирования в методических целях: выяснить, какие задания оказались в самом деле удачными, а какими — совсем неудачными.
   
7. Бесценная возможность нашего цикла занятий — это такие коллективные вебинары, в которых участники под руководством преподавателя получают возможность выступить с докладом, то есть потренироваться вслух в анализе своих тестовых заданий. Многие преподаватели вузов хорошо знают и ценят, как самый надежный метод закрепления материала, такой формат учебных заданий, когда студенты выступают с докладами. Вот эту форму мы и практикуем в наших практических занятиях.

* * *

Ну вот.. я очень коротко осветил 7 этапов. Вы спросите с недоумением: а как же насчет «принятия решений»? — Ну, коллеги, я не только этот важнейший вопрос не осветил в этой короткой статье. Я не затронул еще и массу других «деталей», в которых прячется «дьявол эффективности». Всякая практическая технология может сработать хорошо, если ее исполнитель учитывают необходимые детали, но если он совсем не умеет это делать, то … лучше не браться вовсе 🙂

ЧТО ОСТАЕТСЯ В ГОЛОВЕ И НА РУКАХ?

Что же остается в голове у наших участников? — Наверное, на этот вопрос я хотя бы немного ответил в этом сообщении, правда? А вот что на руках… Формально это свидетельство о повышении квалификации. Мы впервые именно в этом сезоне выдаем с помощью нашей партнерской-организации АСТ (Академия Социальных Технологий) уже не сертификат, а свидетельство установленного образца.

Но главное в моем понимании — это все-таки не бумажка. Лучшие наши выпускники дистанционных школ попадают к нам в «обойму внештатных авторов»: мы привлекаем их, когда надо создать и оценить большой банк заданий «под заказ». Вы сомневаетесь, что это так и есть? — Тогда вступайте в сообщество наших выпускников (есть такой ТГ-чат у нас), и расспросите их об этом сами.

И последнее. Мы стараемся внушить нашим участникам школ, что они в содружестве с нами смогут выполнять не только роль авторов тестовых заданий и экспертов, но и более значимую роль ОРГАНИЗАТОРОВ процесса. Ведь семишаговая технология усваивается должна ими не только как «абстрактное знание», но как практическая последовательность шагов… «прочувствованных на уровне ощущений» (!) 🙂