30 участников нашей Зимней школы выполнили методику «Классификация 25 видов деятельности психолога». В число респондентов в данном случае вошли примерно 15 (половина) из экспертной группы КВАЛИМИН (не могу назвать точное число, так как некоторые эксперты зашифровались под псевдонимом, воспользовавшись таким своим суверенным правом).

Методика «свободной классификации» в нашей компьютерной модификации требовала от экспертов сформировать 5 произвольных классов из 25 объектов. Для этого на пяти экранах предъявлялся 5 раз один и тот же список с чек-боксами и надо было проставить каждый раз галочки — указать, какие объекты входят в очередной класс. При этом по инструкции желательно было указывать самый многочисленный класс первым, на втором экране — второй по численности и так далее. Допускалось пересечение классов, то есть один объект мог входить в два и более классов. На разных экранах перечень видов деятельности предъявлялся в разном порядке, то есть работала рандомизация (случайное перемешивание ответов).

Результаты обрабатывались в SPSS с помощью самого популярного алгоритма иерархической классификации. В качестве входного массива был предложен массив 150 на 25, где по столбцам — названия видов деятельности (переменные), а по строкам — ответы 30 испытуемых (а поскольку у каждого из 30 испытуемых было по 5 строк с ответами, то всего 30*5 = 150 строк). В клеточках входного массива размещалась цифра «1», если объект по столбцу принадлежал к классу по строке, и цифра «0», если не принадлежал. В качестве метрики сходства переменных (видов деятельности) использовался коэффициент «косинус» (нормированное скалярное произведение столбцов).

Вот какой оказалась дендрограмма по методу дальнего соседа:

А вот такой оказалась дендрограмма по методу ближнего соседа:

Использовались также другие метрики близости переменных (Евклидово расстояние, а также обычный коэффициент Пирсона со стандартизацией по столбцам-переменным). Но я не стану перегружать эту статью и приводить так много разных «древовидных диаграмм» (дендрограмм). Уже первые две приведенные дендрограммы позволяют увидеть примерно 8 относительно устойчивых кластеров. Приведу эти 8 кластеров вначале в текстовом формате, чтобы читателю можно было увидеть полные формулировки видов деятельности:

==================

Кластер 1
— Педагогическая психология (профилактика агрессии, буллинга и школьной дезадаптации)
— Психология развития (психологическое сопровождение подростков в период идентификационных кризисов)
— Психология дошкольного воспитания (психокоррекция задержек развития и сопровождение при речевых нарушениях)
— Педагогическая психология (формирование учебной мотивации и когнитивной самостоятельности у учащихся)

Кластер 2
— Семейная психология (диагностика и улучшение супружеских отношений)
— Семейная психология (поддержка родительской компетентности и детско-родительской привязанности)

Кластер 3
— Психология здоровья (формирование устойчивых привычек, способствующих физическому и психическому благополучию)
— Арт-терапия и экспрессивные методы (недирективная коррекция эмоциональных состояний через творческую активность)
— Клиническая психология (работа с последствиями психологической травмы и ПТСР)
— Клиническая психология (диагностика и психокоррекция тревожных, депрессивных и обсессивно-компульсивных расстройств)
— Нейропсихология (восстановление высших психических функций после органических поражений мозга)
— Психологическая помощь (сопровождение при профессиональных и возрастных кризисах, неврачебная психотерапия)
— Геронтопсихология (сохранение когнитивной активности и эмоционального благополучия в пожилом возрасте)

Кластер 4
— Организационная психология (развитие лидерства и командного взаимодействия)
— Карьерное консультирование и профориентация (рекомендации по выбору профессии и дополнительному образованию)

Кластер 5
— Организационная психология (оценка и подбор персонала)
— Психология труда (профилактика и преодоление синдрома эмоционального выгорания)
— Психология коучинга и личностной эффективности (развитие целеполагания, саморегуляции и ресурсного поведения)

Кластер 6
— Когнитивная эргономика (проектирование человеко-центрированных интерфейсов и систем «человек—компьютер»)
— Психология безопасности (подготовка специалистов к действиям в условиях экстремального стресса)

Кластер 7
— Спортивная психология (индивидуальная психологическая подготовка спортсменов)
— Спортивная психология (формирование сплочённости и эффективной коммуникации в команде)

Кластер 8
— Психология рекламы и маркетинга (психологическое сегментирование рынка товаров и услуг)
— Политическая психология (профайлинг политических деятелей и психологическое сопровождение избирательных кампаний)
— Юридическая психология (психологическая экспертиза достоверности показаний и склонности к дезинформации)

==================

Приведем итоговую диаграмму, снабженную интерпретационными ярлыками:

Пожалуй, за исключением узкоспециализированного кластера 7 (связанного со спортивной психологией), остальные 7 кластеров выглядят как довольно-таки широкие обобщения видов деятельности, которые в значительной степени различаются внутри кластера, но имеют либо идентичный объект (например, это ребенок или семья), либо очень похожие внешние условия своего осуществления (организационный контекст, например), либо сходные цели оказания психологической услуги (помощь в кризисных ситуациях).

СОГЛАСОВАННОСТЬ ЭКСПЕРТОВ

Насколько сходными оказались ответы разных респондентов? Ведь в данном случае «согласованность» служит одновременно показателем и психометрической надежности полученного результата, и его «внутренней экспертной валидности».

В ходе такого анализа производился расчет так называемых «итоговых индивидуальных матриц сходства» объектов. Это матрица 25 на 25, в клеточках которой появлялась цифра «1», если соответствующая пара объектов объединялась в кластер хотя бы один раз, и цифра «0», если данную пару объектов (видов деятельности) данный респондент ни разу не включал в один класс. Аналогичная групповая матрица появлялась путем суперпозиции (поклеточного суммирования) индивидуальных матриц. Затем групповая матрица трансформировалась в двоичную групповую матрицу, в клеточках которой появлялась цифра «1», если два объекта оказывались в одном классе не меньше, чем 25 раз, и цифра «0», если меньше. Пороговое значение 25 из 30 как раз было выявлено как «точка отсечения» на дереве объединенной дендрограммы, то есть уровень сходства, характерный для 8-ми устойчивых кластеров (25 из 30 экспертов помещали данную пару объектов в один класс, то есть примерно 85% экспертов — значимое большинство).

Затем для каждого участника методики с помощью специальной программы (написана мной на языке Pascal-ABC) подсчитывалась близость его индивидуальной двоичной классифицирующей матрицы к групповой двоичной матрице. Метрика близости в данном случае — обычный фи-коэффициент по таблице сопряженности 2 на 2. Ясно, что число элементов этой таблицы равно числу парных сочетаний из 25 (то есть это 25*24/2= 300 наблюдений), так что значимая согласованность возникает даже при очень низких значения Phi-коэффициента сопряженности. Уровень p<0,001 достигается при значениях Phi выше 0,19.

Важно: 21 эксперт из наших 30 человек показали уровень согласованности выше 0,19, а пятерка обладателей самых высоких показателей выглядит так:

Леви Максим — 0,68
Алёна Баранова — 0,64
Евгений Савин — 0,55
Инна Свириденко — 0,50
DeepSeek — 0,49

Пояснение: по нашей традицией, установившейся давно в нашем клубе КИТТ, мы оставляем за собой право открыто публиковать имена победителей наших дружеских конкурсов.

Что обращает на себя внимание:

1) На пятом месте оказался не человек, а DeepSeek — система ИИ-БЯМ, то есть одна из самых популярных в России «нейросетей». Считаю, что это определенный успех для данной системы, ибо до этого в наших конкурсах данный «цифровой участник» не показывал такого высокого уровня согласованности в своих ответах (например, см. статью о результатах психологического шкалирования литературных персонажей).

2) В пятерке отсутствует А.Г.Шмелев (автор этой статьи). Я лично считаю, что ничего страшного в этом нет. Ну занял я почетное 10 место с довольно-таки высоким показателем 0,43. Ну обошли меня 8 белковых разумных существ и один «кремниевый мудрец». Ну молодцы они. Так что ничего страшного 🙂

КАКИЕ ПЕРСПЕКТИВЫ РОЖДАЮТСЯ В ПРОЕКТЕ КВАЛИМИН?

В предыдущей статье я представил для читателей блога демоверсию КВАЛИМИН-26/50, в которой только пять тематических разделов (по 10 заданий в каждом). Разделы демоверсии под номерами 1 и 2 — это теоретические разделы (общая, социальная и дифференциальная психология), а практические разделы номер 3 и 4 представлены в полученной нами классификации в виде более широких кластеров: 3) индивидуальное консультирование и психотерапия, 4) организационное консультирование. При этом следует признать, что в ходе отбора заданий в 3-й раздел у нас практически не попали задания по нейро- и патопсихологии (просто не удалось авторам пока сформулировать удачные легкие задания по этой тематике). Поэтому третий раздел пришлось временно переформулировать из «Индивидуального консультирования и клиническая психология» в несколько иное название «Индивидуальное консультирование и психотерапия». Но это не главное.

Да, два раздела по общей и дифференциальной психологии — это пока маловато. Некоторые участники, ознакомленные с демоверсией, ворчат: «А где у вас познавательные процессы?». При этом они, конечно, забывают, что имеют дело не с законченной структурой действующего тестового экзамена, а пока лишь с превентивным демонстрационным продуктом, в котором общая и социальная психология временно объединены в один раздел номер 1. А, кстати, возрастная психология (или психология развития, или детская психология) отсутствует пока в нашей демоверсии вообще. А ведь это тоже значимый раздел в теоретической подготовке…

А главный вопрос теперь возникает скорее методического характера и даже … сангигиенического характера. Если к двум теоретическим разделам добавить еще 2 самостоятельных теоретических раздела (так что у нас отдельно друг от друга будут общая, социальная, дифференциальная и психология развития!), а прикладные разделы будут представлены в виде 8 выявленных кластеров, а плюс к этому еще разделить на 2 раздела методические и этические стандарты, то всего получится уже 4+8+2 = 14 разделов. Чтобы по каждому было не меньше 10 заданий ( а меньше заданий нельзя давать, ибо тогда результат по тематическом субтесту очень «гуляет» от одной попытке к другой), то в одном сеансе будет уже 140 заданий, а общее время выполнения уже приблизится у многих испытуемых к 100 минутам (превысит 90 минут — предел неснижаемой непрерывной производительности труда при самой интенсивной работе за компьютером, ведь надо умножить 140 на 0,75 и получаем 105 минут).

Но еще более сложный вопрос возникает насчет банка пригодных заданий. В течение двух с лишним месяцев, работая в коллективе из 35 авторов и экспертов, мы породили сейчас всего лишь 63 годных легких задания (из 244 сырых), из которых 50 вошли в демоверсию. А даже при минимальном троекратном запасе банка по отношению к варианту (сеансы) потребуется 140*3 = 420 годных заданий. А это значит, что необходимо будет «переварить» примерно 1700 сырых заданий (!). Ну допустим, что 1200 сырых (авторы станут более опытными на следующий год). Увы, это нереально создать в ближайшие 2-3 года даже при очень хорошем финансировании (не говоря про работу на энтузиазме, которую сейчас удалось организовать почти что чудом).

Поделюсь, каким я вижу КВАЛИМИН-27 (при наличии хорошего финансирования авторов и коллектива, обеспечивающего их организационно-техническую поддержку). Вот таблица структуры такого посильного теста:

Таблица 1. Возможная тематическая структура будущего теста КВАЛИМИН-27.

Что за компромисс предлагается? Точнее сразу несколько компромиссов:

1) Обойдемся пока без отдельного раздела по возрастной психологии. Вопросы развития психики войдут пока в первый теоретический раздел «Общая психология».

2) По 8 прикладным разделам предлагается создать банк численностью не по 30, а только по 20 заданий (10 для дистанционного первичного тестирования, а 10 — для контрольного очного тестирования или прокторинга). Так что общая численность банка сокращается с 420 пригодных заданий до более разумной и достижимой цифры 280 (достижимой по опыту аналогичных проектов для конкурса «Лидеры России»).

3) Испытуемые выполняют не все 8 прикладных разделов, а только 1 или 3 из 8 по выбору. Выбор одного раздела из 8 будет соответствовать так называемому «психологу-практику узкого профиля», а выбор не менее трех разделов — «психологу-практику широкого профиля». Можно это предусмотреть в виде фиксированного набора «профилей» (возможные типовые сочетания направлений в тройках здесь в таблице представлены в неполной комбинаторике), а можно снабдить программу тестирования такой полезной опцией, когда испытуемый буквально «на ходу» указывает нужные ему прикладные разделы (ровно три из 8, а может быть и больше). Благодаря этому второму компромиссу численность заданий в сеансе снижается до 50 заданий для узкопрофильных специалистов, и до 70 заданий для широкопрофильных, что выглядит вполне посильной задачей для наших «изнеженных психологов» (неприспособленных к длительному напряженному тестированию за компьютером скорее по моральным причинам, чем по психофизиологическим). Напомню, что для получения лицензии на ведение практико-консультативной работы психологам в развитых странах приходится проходить первое испытание в формате тестирования, решая в сеансе более 200 тестовых заданий (!).

НАШ УЗКОПРОФИЛЬНЫЙ ПСИХОЛОГ — ЭТО НЕ ТО ЖЕ САМОЕ, ЧТО «СПЕЦИАЛИСТ В МЕТОДЕ»

Чем такой подход принципиально отличается от того, который предлагают сторонники законопроекта о психологической помощи в его «мягкой трактовке»? — Тем, что наш «узкопрофильный психолог» должен все-таки показать базовый набор теоретических знаний в основных теоретических разделах, а также знание основных методических и этических стандартов (!) В нашей таблице 1 в достаточно наглядной форме представлено главное содержательное требование к подготовке психологов: это не «сестра милосердия», которая обучилась фиксированному набору процедур в рамках одного прикладного раздела. НЕТ! — Это все-таки специалист с базовой образовательной подготовкой. То есть это такой перспективный специалист, который в один год может быть смог показать что-то в рамках только одного раздела, но уже на следующий год подготовился как «широкопрофильный» и смог сдать экзамен сразу по трем разделам прикладной психологии. Но главное — это суметь показать разумный минимальный результат по каждому из теоретических разделов и по стандартам (хотя бы ППО>70%, что по всем международным критериям соответствует международному грэйду B или нашей оценке «хорошо»).

P.S.
Я много-много лет экспериментировал на различных курсах (длительных и кратковременных), предлагая слушателям этих курсов оформление двух сертификатов по их произвольному выбору:

А) с оценкой за итоговый тестовый экзамен,
Б) без оценки за итоговый тестовый экзамен.

Вопрос к Вам, дорогие читатели: при каком балле на шкале ППО (процент правильных ответов) люди, как правило, просили оформить сертификат А? — Как правило, тогда, когда ППО>=70% (!) Кто-то, конечно, считал для себя и 85% слишком низким баллом, но это индивидуальные притязания. Реальная нижняя граница буквально для 100% людей — это 70%. Это что-то близкое к известному порогу «две трети» (то есть 66,6%).

Так что граница в 70% — это не выдумка, а следствие реального психологического экспериментирования в «полевых условиях» (в терминах Готтсданкера, это эксперимент, «дублирующий реальный мир»).

Но граница ППО=70% может быть тоже пересмотрена в сторону понижения! При каком условии? — Это зависит от реальной средней эмпирической трудности созданного банка заданий. Если среднее ППО всех заданий равно 70% (с учетом результатов ВСЕХ тестируемых в первой попытке, включая совершенно начинающих специалистов), то это разумная граница. Но если эмпирическое среднее ППО всех заданий в банке будет равно 60% (что, кстати, более вероятно для реального экзаменационного банка), то разумная нижняя граница — это все-таки 60%. Хотя испытуемым будет субъективно неприятно публиковать для своих клиентов сертификат, где у них по каким-то субтестам будут баллы менее 70%, но при наличии общего балла в районе 70% вполне можно потерпеть, чтобы по какому-то слабому субтесту балл равнялся 60% (всего лишь 6 правильных ответов из 10).

ЗАКЛЮЧЕНИЕ

Зачем я привожу в этой статье столько разных конкретных арифметических показателей? — Я пытаюсь вести разговор с читателями на максимально конкретном и понятном количественном языке. Я знаю, что людям надо дать твердые и понятные ориентиры в зоне их «ближайшего развития», только тогда они начинают стараться и честно придерживаться правил. Количественные показатели должны быть РЕАЛИСТИЧНЫМИ. Дебет должен сходиться с кредитом, то есть требования к людям должны соответствовать реальной измеренной трудности заданий. Если мы это НЕ сделаем, то все участники процесса (не только сами испытуемые-соискатели, но и сами организаторы процесса) будут невольно сбиваться… на профанацию типа ИБД (на имитацию бурной деятельности). Увы, бюрократы, как правило, не владеют необходимыми знаниями для того,чтобы разумно сформулировать реалистичные пороговые значения. Поэтому-то в нашей стране бюрократический подход неминуемо порождает ИБД. Поэтому… я повторяю и повторяю одно и тоже: никто не сможет спасти психологов кроме… самих психологов. Мы сами должны взять на себя эту задачу — оценку собственной квалификации. В этом наша ответственность и перед обществом, и перед своими коллегами!

=======================

Для удобства тех читателей. которые не прочли предыдущую мою статью, даю здесь же прямую ссылку на выполнение открытой демоверсии КВАЛИМИН-26:

https://test.ht-inc.ru/test/e4151d9069a4f128d49681c770ed50a1

В пяти разделах этого теста 50 заданий (по 10 в каждом разделе). На каждое задание отводится не более 70-80 секунд, но большинство заданий решаются гораздо быстрее (в среднем за 35 секунд). Всего сеанс займет у Вас не более 25-35 минут. Тест можно пройти полностью АНОНИМНО.