30 участников нашей Зимней школы выполнили методику «Классификация 25 видов деятельности психолога». В число респондентов в данном случае вошли примерно 15 (половина) из экспертной группы КВАЛИМИН (не могу назвать точное число, так как некоторые эксперты зашифровались по псевдонимым, воспользовавшись таким своим суверенным правом).

Методике требовала от экспертов сформировать 5 произвольных классов из 25 объектов. Для этого на пяти экранах предъявлялся 5 раз один и тот же список с чек-боксами и надо было проставить каждый раз галочки — указать, какие объекты входят в очередной класс. При этом по инструкции желательно было указывать самый многочисленный класс первым, на втором экране — второй по численности и так далее. Допускалось пересечение классов, то есть один объект мог входить в два и более классов. На разных экранах перечень видов деятельности предъявлялся в разном порядке, то есть работала рандомизация (случайное перемешивание ответов).

Результаты обрабатывались в SPSS с помощью самого популярного алгоритма иерархической классификации. В качестве входного массива был предложен массив 150 на 25, где по столбцам — названия видов деятельности (переменные), а по строкам — ответы 30 испытуемых (а поскольку у каждого из 30 испытуемых было по 5 строк с ответами, то всего 30*5 = 150 строк). В клеточках входного массива размещалась цифра «1», если объект по столбцу принадлежал к классу по строке, и цифра «0», если не принадлежал. В качестве метрики сходства переменных (видов деятельности) использовался коэффициент «косинус» (номированное скалярное произведение столбцов).

Вот каким оказалась дендрограмма по методу дальнего соседа

А вот такой оказалась дендрограмма по методу ближнего соседа:

Использовались также другие метрики близости переменных (Евклидово расстояние, обычный коэффициент Пирсона со стандартизацией по столбцам-переменным). Но я не стану перегружать эту статью и приводить так много разных «древовидных диаграмм» (дендрограмм). Уже первые две приведенные дендрограммы позволяют увидеть примерно 8 относительно устойчивых кластеров. Приведу эти 8 кластеров вначале в текстовом формате, чтобы читателю можно было увидеть полные формулировки видов деятельности:

==================

Кластер 1
Педагогическая психология (профилактика агрессии, буллинга и школьной дезадаптации)
Психология развития (психологическое сопровождение подростков в период идентификационных кризисов)
Психология дошкольного воспитания (психокоррекция задержек развития и сопровождение при речевых нарушениях)
Педагогическая психология (формирование учебной мотивации и когнитивной самостоятельности у учащихся)

Кластер 2
Семейная психология (диагностика и улучшение супружеских отношений)
Семейная психология (поддержка родительской компетентности и детско-родительской привязанности)

Кластер 3
Психология здоровья (формирование устойчивых привычек, способствующих физическому и психическому благополучию)
Арт-терапия и экспрессивные методы (недирективная коррекция эмоциональных состояний через творческую активность)
Клиническая психология (работа с последствиями психологической травмы и ПТСР)
Клиническая психология (диагностика и психокоррекция тревожных, депрессивных и обсессивно-компульсивных расстройств)
Нейропсихология (восстановление высших психических функций после органических поражений мозга)
Психологическая помощь (сопровождение при профессиональных и возрастных кризисах, неврачебная психотерапия)
Геронтопсихология (сохранение когнитивной активности и эмоционального благополучия в пожилом возрасте)

Кластер 4
Организационная психология (развитие лидерства и командного взаимодействия)
Карьерное консультирование и профориентация (рекомендации по выбору профессии и дополнительному образованию)

Кластер 5
Организационная психология (оценка и подбор персонала)
Психология труда (профилактика и преодоление синдрома эмоционального выгорания)
Психология коучинга и личностной эффективности (развитие целеполагания, саморегуляции и ресурсного поведения)

Кластер 6
Когнитивная эргономика (проектирование человеко-центрированных интерфейсов и систем «человек—компьютер»)
Психология безопасности (подготовка специалистов к действиям в условиях экстремального стресса)

Кластер 7
Спортивная психология (индивидуальная психологическая подготовка спортсменов)
Спортивная психология (формирование сплочённости и эффективной коммуникации в команде)

Кластер 8
Психология рекламы и маркетинга (психологическое сегментирование рынка товаров и услуг)
Политическая психология (профайлинг политических деятелей и психологическое сопровождение избирательных кампаний)
Юридическая психология (психологическая экспертиза достоверности показаний и склонности к дезинформации)

==================

Приведем итоговую диаграмму, снабженную интерпретационными ярлыками:

Пожалуй, за исключением узкоспециализированного кластера 7 (связанного со спортивной психологией), остальные 7 кластеров выглядят как довольно-таки широкие обобщения видов деятельности, которые в значительной степени различаются внутри кластера, но имеют либо идентичный объект (например, это ребенок или семья), либо очень похожие внешние условия своего осуществления (организационный контекст, например), либо сходные цели оказания психологической услуги (помощь в кризисных ситуациях).

СОГЛАСОВАННОСТЬ ЭКСПЕРТОВ

Насколько сходными оказались ответы разных респондентов? Ведь в данном случае «согласованность» служит одновременно показателем и психометрической надежности полученного результата, и его «внутренней экспертной валидности».

В ходе такого анализа производился расчет так называемых «итоговых индивидуальных матриц сходства» объектов. Это матрица 25 на 25, в клеточках которой появлялся цифра «1», если соответствующая пара объектов объединялась в кластер хотя бы один раз, и цифра «0», если данную пару объектов (видов деятельности) данный респондент ни разу не включал в один класс. Аналогичная групповая матрица появлялась путем суперпозиции (поклеточного суммирования) индивидуальных матриц. Затем групповая матрица трансфомировалась в двоичную групповую матрицу, в клеточках которой появлялась цифра «1», если два объекта оказывались в одном классе не меньше, чем 25 раз, и цифра «0», если меньше. Пороговое значение 25 как раз было выявлено как «точка отсечения» на дереве объединенной дендрограммы, то есть уровень сходства, характерный для 8-ми устойчивых кластеров.

ЗАтем для каждого участника методики с помощью специальной программы (написана мной языке PascalABC) подсчитывалась близость его индивидуальной двоичной классифицирующей матрицы к групповой двоичной матрицей. Метрика близости в данном случае — обычный фи-коэффициент по таблице сопряженности 2 на 2. Ясно, что число элементов этой таблицы равно числу парных сочетаний из 25 (то есть это 25*24/2= 300 наблюдений), так что значимая согласованность возникает даже при очень низких значения фи-коэффициента сопряженности. Уровень p<0,001 достигается при значениях ФИ выше 0,19.

Важно: 21 эксперт из наших 30 человек показали уровень согласованности выше 0,19, я пятерка обладателей самых высоких показателей выглядит так:

Леви Максим 0,68
Алёна Баранова 0,64
Евгений Савин 0,55
Инна Свириденко 0,50
DeepSeek 0,49

Пояснение: по нашей традицией, установившеся давно в нашем клубе КИТТ, мы оставляем за собой право открыто публиковать имена победителей наших дружеских конкурсов.

Что обращает на себя внимание:

1) На пятом месте оказался не человек, а DeepSeek — система ИИ-БЯМ, то есть одна из самых популярных в России «нейросетей». Считаю, что это определенный успех для данной системы, ибо до этого в наших конкурсах данный «цифровой участник» не показывал такого высокого уровня согласованности в своих ответах (например, см. статью о результатах психологического шкалирования литературных персонажей).

2) В пятерка отсутствует А.Г.Шмелев (автор этой статьи). Я лично считаю, что ничего страшного в этом нет. Ну занял я почетное 10 место с довольно-таки высоким показателем 0,43. Ну обошли меня 8 белковых разумных существ и один «кремниевый мудрец». Ну молодцы они. Так что ничего страшного 🙂

КАКИЕ ПЕРСПЕКТИВЫ РОЖДАЮТСЯ В ПРОЕКТА КВАЛИМИН?

В предыдущей статье я представил для читателей блога демоверсию КВАЛИМИН-26/50, в которой только пять тематических разделов (по 10 заданий в каждом). Разделы демоверсии под номерам 1 и 2 — это теоретические разделы (общая, социальная и дифференциальная психология), а практические разделы номер 3 и 4 представлены в полученной нами классификации в виде более широких кластеров: 3) индивидуальное консультирование и психотерапия, 4) организационное консультирование. При этом следует признать, что в ходе отбора заданий в 3-й раздел у нас практически не попали задания по нейро- и патопсихологии (просто не удалось авторам пока сформулировать удачные задания). Поэтому третий раздел пришлось временно переформулировать из «Индивидуального консультирования и клиническая психология» в несколько иное название «Индивидуальное консультирование и психотерапия». Но это главное.

Но и два раздела по общей и дифференциальной психологии — это пока маловато. Некоторые участники, ознакомленные с демоверсией, ворчат: «А где у вам познавательные процессы?». При этом они,конечно, забывают, что имеют дело не с законченной структурой действующего тестового экзамена, а пока лишь с превентивных демонстрационным продуктом, в котором общая и социальная психология временно объединены в один раздел номер 1. А, кстати, возрастная психология (или психология развития, или детская психология) отсутствует пока в нашей демоверсии вообще. А ведь это тоже значимый раздел в теоретической подготовке…

Так что главный вопрос теперь возникает вполне-таки методического характера и даже … сангигиенического характера Если к двум теоретическим разделам добавить еще 2 самостоятельных теоретических раздела (так что у нас будут общая, социальная, дифференциальная и психология развития отдельно!), а прикладные разделы будут представлены в виде 8 выявленных кластеров, а плюс к этому еще разделить на 2 разделы методические и этические стандарты, то всего получится уже 4+8+2 = 14 разделов. Чтобы по каждому было не меньше 10 заданий ( а меньше заданий нельзя давать, ибо тогда результат по тематическом субтесту очень «гуляет» от одной попытке к другой), то в одном сеансе будет уже 140 заданий, а общее время выполнение уже приблизится у многих испытуемых к 100 минутам (превысит 90 минут — предел неснижаемой непрерывной производительности труда при самой интенсивной работе за компьютером, ведь надо умножить 140 на 0,75 и получаем 105 минут).

Но еще более сложный вопрос возникает насчет банка пригодных заданий. В течение двух с лишним месяцев, работая в коллективе из 35 авторов и экспертов, мы породили сейчас 63 годных задания (из 244 сырых). А даже при минимальном троекратном запасе банка по отношению к варианту (сеансы) потребуется 140*3 = 420 годных заданий. А это значит «переварить» примерно 1700 сырых заданий (!). Увы, это нереально создать в ближайшие 2-3 года даже при очень хорошем финансировании (не говоря про работу на энтузиазме, которую сейчас удалось организовать почти что чудом).

Поделюсь, каким я вижу КВАЛИМИН-27 (при наличии хорошего финансирования авторов и коллектива, обеспечивающего их организационно-техническую поддержку). Вот таблица структуры такого посильного теста:

Что за компромисс предлагается? Точнее сразу два компромисса:

1) По 8 прикладным разделам предлагается создать банк численностью не по 30, а только по 20 заданий (10 для дистанционного первичного тестирования, а 10 — для контрольного очного тестирования или прокторинга). Так что общая численность банка сокращается с 420 пригодных заданий до более разумной и достижимой цифры 280 (достижимой по опыту аналогичных проектов для конкурса «Лидеры России»).

2) Испытуемые выполняют не все 8 прикладных разделов, а только 3 из 8 по выбору. Можно это предусмотреть в виде фиксированного набора «профилей» (возможные типовые сочетания направлений в тройках здесь в таблице представлены в неполной комбинаторике), а можно снабдить программу тестирования такой полезной опцией, когда испытуемых буквально «на ходу» указывает нужные ему прикладные разделы (ровно три из 8). Благодаря этому второму компромиссу численность заданий в сеансе снижается до 70 заданий, что выглядит вполне посильной задачей для наших «изнеженных психологов» (неприспособленных к длительному напряженному тестированию за компьютером скорее по моральным причинам, чем по психофизиологическим).