При обсуждении темы «Квалификационный экзамен для практических психологов» самый распространенный риторический вопрос: «А судьи кто?». Он встречается не только на страницах «Психологической газеты», где эту тему продолжают обсуждать регулярно (и регулярно число протестующих против экзамена превышает число комментаторов, поддерживающих такой экзамен). Но этот вопрос задают и читатели этого «авторского блога А.Г.Шмелева».

Позволю себе процитировать недавнюю реплику в ТГ-канале (связанном с этим блогом) от Елены Ивановны Ярославцевой (уважаемого ветерана нашего И-сообщества ЭСПП):

«… всегда будет существовать в экспертизе вопрос : а судьи кто? Эксперты тоже должны подтверждать компетенции. И, как правило, чем больше экспертов, тем более узкий круг их ответственности. А кто готов сдавать экзамены тому, кто не будет ничего понимать в вопросе, который рассматривает каждый экзаменуемый?» (я чуть-чуть поправил синтаксис в этой цитате, но ничего не поменял по сути — АГШ).

Начнем с конца реплики — с вопроса о том, сидит ли экзаменуемый напротив экзаменатора один на один? — Международные стандарты оценки квалификаций серии ISO-1700 категорически НЕ допускают такой ситуации! Об этом, возможно, наши ветераны не очень знают, так как вспоминают свою давнюю студенческую молодость, когда перед комиссиями приходилось сдавать экзамены крайне редко (скорее только на защите дипломной работы). А ведь — с появлением режима ВКС (видео-конференц-связь) — теперь такие комиссии могут заседать не в одном помещении, а эксперты могут сидеть в своих кабинетах в разных городах страны и не видеть совсем, какие оценки выставляют другие экзаменаторы и какие оценки «навязывает председатель» комиссии (!). Я описываю известный недостаток в работе комиссий на очных устных экзаменах — возможность влияния знатных членов комиссии на рядовых членов комиссии.

Дорогие читатели, я понимаю, что еще очень и очень многие из Вас банально НЕ знакомы с современными технологиями разработки массовых тестовых экзаменов, которые проводятся в режиме онлайн и предшествуют работе экспертных комиссий в очном режиме. Но… если Вы посмотрите в деталях, что такое дистанционный этап в таких конкурсных технологиях, как флагманский конкурс «Лидеры России», то Вам станет понятным, что происходит незримый ОТБОР ЭКСПЕРТОВ еще для их работы уже на дистанционном этапе, а не только для работы в комиссиях по оцениванию устных ответов.

Как это происходит? — Каждому эксперту дается задача выступить последовательно в двух ролях:

а) В роли автора части тестовых заданий (большой банк, например, в 300 заданий могут создавать 10 экспертов, каждый из которых предлагает по 30 заданий).

б) В роли эксперта, который участвует в «НЕЗАВИСИМОЙ взаимной анонимной перекрестной оценки» всего банка заданий, созданных коллегами.

Почему я подчеркиваю слово «НЕЗАВИСИМОЙ»? — Потому что крайне важно, чтоб оценки одних экспертов никак не влияли на этом этапе на оценки других.

После этого в нашей системе Ht-Line АВТОМАТИЧЕСКИ рассчитывается согласованность экспертных оценок. И… отбрасываются не только неудачные задания, по которым не достигнут минимально необходимый уровень согласованности, но отсеиваются и малокомпетентные эксперты, которые НЕ смогли:

а) создать минимальное количество (хотя бы 50%, то есть 15 из 30) удачных заданий,

б) оценить согласованно весь банк заданий (попали «в молоко» более, чем в 60% случаев — ошиблись в своих оценках насчет того, какие задания удачные).

Оговорка: я нарочно здесь привожу конкретные цифры 50% и 60%, чтобы упростить текст для его восприятия лицами с «гуманитарным мышлением» (на самом деле в целом ряде ситуаций разумно выработать похожие, но несколько иные пороги — но это более сложные математические процедуры).

Можно ли с этими технологиями познакомиться практически? — Да-да-да!! Мы учим всех желающих работать с этими технологиями в нашей «Дистанционной психометрической школе». Учим в режиме онлайн уже седьмой сезон подряд! В предстоящем зимнем цикле «Конструирование тестов знаний» мы планируем внедрить новую лекцию «Кластерный анализ в тестологии», в которую и будет включен вопрос об отборе экспертов.

Скриншот 1. Рейтинг экспертов по убыванию согласованности.

На скриншоте 1 Вы видите, как был построен рейтинг согласованности экспертов на материале нашего конкурса кейсов в практическом курсе «Психологическая и общая теория конкуренции». Первая пятерка самых согласованных экспертов включает участников клуба «Эльбрус» — победителей конкурса «Лидеры России». По правилам игры мы не разглашаем при этом ФИО тех участников конкурса экспертов, которые НЕ показали высоких результатов — не вошли в первую пятерку. Каждый участник сам видит свой результат, но только под ИД-номером, а ключ к этому ИД-номеру является конфиденциальным, то есть его не знают другие участники конкурса. Такая конкурсная технология из жесткой отборочной (организационной) превращается по факту в «консультативную» (см. об этом различении мою предыдущую статью на блоге «Про терминологический пофигизм…»).

Скриншот 2. Результаты кластерного анализа экспертов.

На скриншоте 2 Вы видите, как выглядит дерево автоматической классификации экспертов (по близости профилей оценок в каждой паре экспертов). Наверху дерева ветки более плотно связаны друг с другом — в некоторый «пучок». Это ядро согласованных экспертов. А внизу дерева располагаются те эксперты, которые чаще попадают «в молоко».

Что-то не понятно из этой короткой статьи? — Ну, конечно! Так как это не просто «треп языком», а операциональное знание, которое надо осваивать практически — в ходе практических занятий, где Вы сами выступите в роли экспертов в обучающем конкурсе экспертов.

Как можно записаться на такой конкурс? См. страницу на нашем сайте ht-line.ru:

Дистанционные психометрические школы (курсы)

Внимание: в этот раз на зимний цикл (начало — 19 января 2026) у нас появилась такая задумка. Давайте посвятим учебный практикум разработке банка заданий для оценки квалификации практических психологов. При этом вводим такие правила игры: если автору (участнику курсов в роли слушателя) удастся создать УДАЧНОЕ ЗАДАНИЕ, то мы вернем ему 500 рублей за оплаченную стоимость обучения. Если удачными окажутся все 10 тестовых заданий, то вернем 5000 рублей (!) — Согласитесь, что это будет вполне ощутимой скидкой при общей стоимости обучения в 15 тысяч (а до 31 декабря она будет равна 10 тысячам рублей — скидка в 33% за раннюю оплату курсов).

Как Вам такая мысль?

Коллаж на обложке этой статьи создан автором на основе фотографии с сайта techbook.de