Итак, коллеги, именно сегодня число добровольных испытуемых, выполнивших пробный тест КВАЛИМИН-26/50, достигло ровно 600 человек.

ВНИМАНИЕ: Для тех, кто хочет пройти этот тест, ссылка дается в конце этой статьи.

Мы получили еще недостаточно данных , чтобы претендовать на серьезные выводы о валидности этой методики (надо бы дождаться цифры в 1000 человек), но уже можно раскрыть статистику трудности созданных тестовых заданий и предложить определенные «категории подготовки».

Напомним, что это открытая (бесплатная) методика, в которой имеется 50 тестовых заданий (вопросы с 4-мя вариантами ответов) по пяти разделам академической и практической психологии (в каждом разделе по 10 заданий). Каждый испытуемый получает сразу после завершения теста краткий отчет с указанием процента правильных ответов по каждому субтесту и свой общий балл. Ниже в скобках за названием раздела мы сразу приводим процент правильных ответов по этому разделу (n=600):

• Общая и социальная психология (55%)
• Дифференциальная и психодиагностика (67%)
• Индивидуальное консультирование и клиническая психология (74%)
• Консультирование организаций и организационная психология (57%)
• Этические стандарты практикующих психологов (69%)
• Общий балл (64%)
  
  Как видим, в целом тест не оказался слишком трудным для наших испытуемых, а скорее … «средне-легким»: почти две трети заданий наш средний испытуемый решает (точная цифра — 64% на шкале ППО, что означает процент «правильных ответов»). Но… между разными тематическими разделами различия в трудности оказались весьма ощутимыми.
  
  Самыми трудными оказались разделы «Общая и социальная психология» (55%) и «Организационная психология» (57%). Относительно более легким для наших испытуемых оказался раздел «Индивидуальное консультирование» (74%). Разница между самым легким и самым трудным разделами равняется почти 20% на шкале ППО. Так что… впору сделать предварительные выводы, какими оказались сильные и слабые места у наших практикующих психологов. Ведь при разработке теста КВАЛИМИН мы старались выровнять трудность заданий в разных субтестах (по оценкам 35 специалистов, привлеченных к экспертной оценке трудности).

О разбросе результатов по тесту и его разделам можно также судить, если проанализировать разброс между разными подгруппами испытуемых. Вот как выглядит таблица 1 с указанием процента правильных ответов по тематическим разделам (субтестам) в 6 разных кабинетах-студиях. Что такое 6 студий? — Это 6 наших отдельных баз данных, собранных отдельными добровольными организаторами, которые распространяли тест на своих собственных аудиториях. У кого-то в этой аудитории были студенты старших курсов и магистранты-психологи. У кого-то — читатели «Психологической газеты», у кого-то — подписчики-психологи на авторском блоге. Разумеется, что мы не раскрываем, кто именно скрывается под номером той или иной студии, но только благодарим организаторов пяти новых студий (дополняющих студию руководителя проекта, каким является ваш покорный слуга — А.Г.Шмелев). Это по алфавиту: Гули Базарова, Петр Балунов, Анна Губанова, Альберт Муртазин, Алексей Филатов.

Таблица 1. В клетках — средние баллы на шкале ППО по каждому разделу и в целом по тесту КВАЛИМИН в различных студиях (по строкам).

Что мы видим в этой таблице 1? — То, что разница в средних баллах между студиями существует и достигает статистически неслучайных значений (выше 10% по шкале ППО по некоторым разделам). Но… все же размах между самыми сильными и самыми слабыми студиями МЕНЬШЕ, чем стандартное отклонение по всем 600 испытуемым. А это значит, что в каждой студии есть индивидуальное сильные участники и в каждой — слабые, так что различия в большей степени отражают ИНДИВИДУАЛЬНЫЙ УРОВЕНЬ (!). Что мы и пытаемся добиться, да?

А ниже я публикую таблицу 2, которая дает представление о трудности отдельных тестовых заданий (вопросов).

Таблица 2. По каждому разделу указан самый трудный вопрос (бледно-голубой фон), а также самый легкий (бледно-желтый фон).

Да, таблица 2 НЕ содержит полного перечня из наших 50 заданий, но дает представление о разбросе показателей эмпирической трудности. В этой таблице Вы увидите балл ППО по каждому из 10 заданий. Из них 5 заданий — это самые легкие в 5 разделах (они выделены желтым цветом), а 5 других — это самые трудные. Как видим, мы с Вами, к счастью, ни в одном случае наши задания не выпали из требуемого диапазона: нет слишком трудных заданий (ППО меньше 30%), как и слишком легких (ППО больше 90%), хотя разброс все-таки получился высокий и кое где разработчики теста оказались «на грани». Это лишний раз иллюстрирует, что создание заданий с оптимальной трудностью в районе 70% — это очень сложная задача, которую решить с первого раза мало кому вообще удается 🙂

Собранные данные на достаточно репрезентативной выборке позволяют теперь включить в отчет по тесту обратную связь о попадании в определенный квантиль (процентажный интервал). Вот каковы интервалы для этих квантилей и текстовая интерпретация соответствующей категории испытуемых:

Таблица 3. Нормативная интерпретация результатов теста КВАЛИМИН. ППО — процент правильных ответов, ПРБ — процентильный балл (или процент испытуемых, выполнивших тест хуже).

Как видим, половина наиболее успешных наших испытуемых, которые попали в категории с положительной оценкой, набрали балл на шкале ППО выше 66% (выше двух третей правильных ответов, так что медиана по тесту оказалась несколько выше среднего арифметического ППО=64%).

Таким образом, теперь, когда Вы выполните тест, Вы сразу узнаете, в какую категорию попали лично Вы (!) Тем самым, наши 600 добровольцев позволили не умозрительно, а эмпирически уточнить так называемые «категории подготовки». Впереди (когда наберем 1000 человек) — уточнение, сколько лиц, имеющих и не имеющих психологическое образование, попадают в ту или иную категорию подготовки. Но, немного забегая вперед, хочу сказать, что, конечно, психологическое образование дает значимое преимущество. Это видно уже сейчас, так сказать, «невооруженным глазом»…

А вот и обещанная прямая ссылка на тест КВАЛИМИН-26/50:

https://test.ht-inc.ru/test/e4151d9069a4f128d49681c770ed50a1

Просьба: не забудьте при заполнении краткой анкеты испытуемого указать источник, откуда Вы узнали и выполняете тест. В данном случае источник — это «блог Шмелева».

Также напоминаем, что тест можно выполнять совершенно анонимно — под псевдонимом или цифровым шифром и не указывая никакого адреса э-почты вовсе. Но… если Вы укажите свой адрес почты, то Вам на почту придет номер вашего сеанса и Вы сможете увидеть свое место в «народной конфиденциальном рейтинге»:

https://ht-line.ru/qualimin-rating

Мы (а именно Центр «Гуманитарные технологии») обновляем этот рейтинг каждый месяц. Если Вы пройдете наш тест в мае, то увидите свое место в обновленном рейтинге в начале июня.

На обложке статьи приводится гистограмма трудности теста КВАЛИМИН-26 по разделам.

P.S.

Кто-то из коллег, конечно, должен возразить мне (написав свою критику в комментарии), что предложенные «категории подготовки» отражают не столько эффективность психолога-практика, сколько… его универсальность. В самом деле эффективный консультант может иметь высокий балл по разделу 3 и совсем-совсем скромные баллы по остальным разделам. Ну что ж…давайте пока ставить знак равенства между понятиями «категория подготовки» и «категория универсальности» (последнее понятие приближается к понятию «диапазон практики», который может быть у одного специалиста более широким, а у другого — более узким). Но все-таки…ценность более универсального специалиста, по моему личному убеждению, состоит в том, что он в состоянии быстрей сориентироваться в нестандартной ситуации и тем самым принять ключевое решение, которое характеризует его как ПРИНЦИПИАЛЬНОГО И ЧЕСТНОГО профессионала — перенаправить непрофильный для себя случай другому специалисту. А узкие специалисты? — Увы, они частенько даже не понимают, какую ответственность они берут на себя, когда хватаются за все случаи без разбору…