Недавно наши сотрудники «Лаборатории «Гуманитарные технологии» приняли участие в так называемом кейс-чемпионате, организуемом на факультете психологии МГУ уже третий год подряд. На дистанционном этапе этот «чемпионат» оказался достаточно многочисленным — команд под сотню из более 50 вузов. Вот здесь интересующиеся могут узнать подробности:

https://vk.ru/psychamp

Что лично меня не устроило в организации этого интеллектуального соревнования, которое по тематике перекликается с нашим проектом КВАЛИМИН (тест знаний для психологов)? — Совсем невнятно прописаны критерии работы экспертов (членов жюри) и правила подсчета баллов.

После беглого моего знакомства с этим «чемпионатом» (намеренно беру это слово в кавычки уже второй раз), я решил явно сформулировать, чем, по моему мнению, отличаются настоящие конкурсы от псевдоконкурсов, которые правильней называть «фестивалями» (наподобие кинофестивалей и других творческих конкурсов).

Организаторы фестивалей — это, как правило, очень и очень «гуманитарные люди» по своему когнитивному стилю. Они не сильно себя утруждают четким формулированием критериев оценивания и тем более формализацией работы жюри. С их точки зрения, делать это нет никакой необходимости, так как «все равно жюри проявит субъективизм в своих оценках».

Кроме упомянутого кейс-чемпионата для молодых студентов-психологов я сам недавно получил приглашение поучаствовать в парочке аналогичных мероприятий для «эйчаров». Так что накопились впечатления, и я попробую создать такую сравнительную таблицу из 7 признаков. Надеюсь, что эта таблица поможет более ясно изложить мое понимание, чем именно настоящие конкурсы отличаются от этих самых гораздо более распространенных «фестивалей».

№	Признак	Конкурсы	Фестивали
1.	Строгая аутентификация участников и контроль достоверности решения задач (кейсов).	Да, имеется контрольная оценочная процедура под очным наблюдением за участниками.	Нет или  условно «да», так как возможны подставные участники (особенно на дистанционном этапе).
2	Состав и численность членов жюри; наличие возможности измерять согласованность экспертных оценок	Да, состав членов жюри объявлен заранее, по одной номинации происходит анализ оценок от нескольких членов жюри, что позволяет подсчитывать меру согласованности экспертных оценок. Возможен формали-зованный отсев неквалифициро-ванных экспертов.	Нет, состав членов жюри либо неизвестен, либо подвергается изменениям в последний момент; при этом по одной номинации суждения могут выносить всего лишь 1-2 эксперта, что отменяет возможность анализа согласованности.
3	Работы участников предъявлены для членов жюри под кодовыми номерами	Да, члены жюри (конкурсной комиссии) не знают имен участников, когда оценивают их работы .	Нет, члены жюри фактически имеют доступ к именам участникам (названиям компаний и т.п.) и это влияет на их установки в ходе оценивания.
4	Список критериев заранее объявлен в правилах конкурса для участников и хорошо проработан	Да, список критериев превращен в список шкал, который хорошо проработан не только на подпунктах-индикаторах, но показано, как он работает на образцах (на конкурсных кейсах или на аналогичной конкурсной продукции).	Нет, оценка сводится либо к одному интегральному критерию (к общему баллу от 1 до 5 или до 10), либо список критериев существует, но не объявлен для участников заранее и различается в разных номинациях.
5	Дифференцированная система вознаграждения создает конкуренцию.	Да, число участников кратно превышает число победителей конкурса (например, в 10 или в 100 раз).	Нет, большая часть участников получает те или иные награды; создаются особые номинации – под особых участников, так что конкуренция по факту либо оказывается слабой, либо вообще отсутствует.
6	Количественные результаты  оформляются в виде рейтинг-списка	Да, каждый участник получает информацию о сумме баллов и занятом месте.	Нет, результаты носят фрагментарный и качественный характер; все остальные, кроме победителей, не знают своих баллов и мест.
7* (звездочка означает, что данный признак является факультативным)	Командные номинации сочетаются с индивидуальными номинациями	Да, применяются метрики, позволяющие количественном оценить индивидуальный вклад участников в командный успех. Яркий пример из области игровых видов спорта: приз лучшему «снайперу чемпионата»,  приз лучшему «распасовщику» и т.п.	Нет, какие-либо метрики, позволяющие выделять или ранжировать индивидуальных участников отсутствуют.

Не хочется прослыть тут циником, но есть еще и такой о-очень неофициальный признак «фестиваля»: участники вносят деньги за участие, причем определенная сумма фактически гарантирует им право на фотографию в роли… победителя. Такие фотки персонал предъявляет своему ленивому руководству, чтобы показать успехи в своей работе.

С какой бока меня интересует эта тема? — Не только с того бока, что я считаю себя разработчиком оценочных технологий (не только тестовых, но и экспертных). Но дело еще и в «теории конкуренции»: настоящая продуктивная конкуренция не может возникнуть там, где организаторы фактически занимаются «игрой слов» — называют конкурсами фестивали…

Коллеги, Вы можете дополнить этот набор признаков? Или захотите покритиковать какие-то мои формулировки? — Пожалуйста, жду ваших реплик на эту статью в комментариях.

Напоминаю, что ваши адреса э-почты в комментариях читатели НЕ видят. Их вижу только я — автор и организатор этого блога. По этим адресам Вы сможете получать приглашения на новые публикации и экспертные опросы.

На фото обложки засняты победители в новой номинации «Корпоративное видео». Глядя на эту фотку, мне пришел в голову еще один такой слабо-формализованный признак «фестиваля»: все участники переходят из зала на сцену, чтобы сфотографироваться в роли «победителей» 🙂