НЕБОЛЬШОЕ ПРЕДИСЛОВИЕ ДЛЯ УЧАСТНИКОВ ТГ-КАНАЛА «КОМПЬЮТЕРНАЯ ПСИХОДИАГНОСТИКА»

Надеюсь, что эта статья будет доступной пониманию ВСЕХ участников данной тематической группы. Ведь все рассуждения выстроены не на формулах, а на наглядных 8 диаграммах. Эти 8 диаграмм изображают 8 типов экспертов — с разным стилем выставления экспертных оценок.

Кстати… особой наглядности с помощью Эксель не так легко добиться, как я наивно думал. Эта прекрасная программа оказывает такую медвежью услугу: она масштабирует по-разному разные профили, так что не виден на глаз контраст между «умеренно забористым» (Иванов) и «резко забористым» (Андреев). Приходится присматриваться к числовым значениям. Казалось бы, а чего проще — нанести 3 профиля на один график (чтобы на одном графике был Иванов-Андреев-Средний), но… сколько пар из восьми можно составить подсчитать можете? — 28 шуточек. Это уже явный перебор будет вместо «простоты и доходчивости».

================

Итак, сегодня 21 ноября мы начали второй (заключительный) этап нашего конкурса кейсов на сайте www.ht-line.ru. Подано на конкурс 22 кейса, так что теперь каждому участнику предстоит в сетевом режиме оценить по 6 шкалам кейсы других участников — в количестве 21 штука.

В этом году мы планируем дать участникам, выступающим в роли экспертов, обратную связь в виде близости профиля их оценок к 8 типам экспертов, которые я представляю на 8 следующих диаграммах. Надеюсь, что эти профили не требуют особых комментариев (кроме тех, которые уже встроены в диаграммы). Только не перепутайте цвета: синий — это индивидуальный профиль, а красный — типовой, полученный путем усреднения всех профилей всех экспертов для каждого объекта оценивания.

Что касается проблемы измерения близости профилей, то как раз знакомство с 8-ю РАЗНЫМИ возможными профилям, облегчает обсуждения двух разных подходов, разных способов измерения близости профилей. Об этом — в продолжении статьи читайте уже ниже — после 8 диаграмм.

ДВЕ МЕТРИКИ БЛИЗОСТИ ПРОФИЛЕЙ

Конечно, метрик больше, чем две (и кто с этим уже вплотную столкнулся, тот это хорошо знает). Но эту статью я пишу для неискушенных участников чата «Компьютерная психодиагностика и психосемантика» — неискушенных в анализе «профильных данных». Поэтому рассмотрим только 2 таких подхода.

А) Анализ расстояний (или отклонений). Это самый простой подход, который не требует каких-либо особых математико-статистических познаний. Нужно просто для каждой шкалы посчитать модуль (абсолютную величину) расстояния между синей и красной точками (отклонение индивидуальной оценки от усредненной групповой оценки или другой эталонной оценки). А затем эти расстояния надо просто суммировать по всем шкалам и поделить на число шкал, то есть посчитать общее отклонение синего (индивидуального) профиля от красного (группового, эталонного).

Достоинства подхода А

Это простота, а также возможность отсеивать тех оценщиков, которые оказываются слишком строгими или слишком добрыми. Как известно простейший способ повысить объективность оценки, выставленной студенту на экзамене (или на защите диплома), это откинуть крайние баллы — слишком высокую оценку и слишком низкую. Вот так и работает данный подход, если упрощать разговор. Вылетают из игры в этом случае такие оценщики, которые не только являются неточными (синие пики и провалы не совпадают с красными), но и такие, у которых весь синий профиль оказывается либо поднятым («добряки»), либо опущенным (слишком «строгие»). Кто выбывает таким образом? — Это четверо из восьми: Петров, Сидоров, а также Держимордов и Дурашлепов. Впрочем, можно ведь и не отсеивать так много оценщиков, а просто учитывать их оценки с меньшим весом (при подсчете усредненного красного профиля).

Недостатки подхода А

Увы, данный подход плохо различает таких экспертов-оценщиков, у которых их синие линии оказываются плоскими — лежат близко к центральной прямой линии. Плохо различаются точный, но мягкий Васильев, с одной стороны, а также неточный, но нейтральный Равнодушнов. К тому же получается, что эти два персонажа (Васильев и Равнодушнов) получают примерно такие же баллы по «общему отклонению», какие получают гораздо более рискующие (выставляющие контрастные оценки) Иванов и особенно Андреев. Из-за того, что Андреев резок и полярен в своих суждениях (предпочитает полярные оценки — то высокие, то низкие) его позиция в рейтинге точности экспертов будет при применении подхода А неадекватно низкой. То есть, подход А поощряет осторожных и мягких экспертов и наказывает рискующих и резких (таких как Иванов и особенно — Андреев).

Б) Анализ конфигурации (учет формы, профильный подход). Все, кто немножко знаком с корреляционным анализом, понимают, что его достоинства в том, чтобы учитывать относительные, а не абсолютные отклонения. Относительно чего отклонения? — Относительно индивидуальной СРЕДНЕЙ линии. Мысленно проведите синюю пунктирную линию так, чтобы она прошла ниже всех синих пиков и выше синих провалов, и тогда Вы увидите эту «ватерлинию» — особую индивидуальную среднюю линию данного эксперта. После этого мысленно подвиньте синюю ватерлинию так, чтобы она совпала с красной аналогичной ватерлинией. Вот относительно этих двух совмещенных ватерлиний и рассматриваются «пики» и «провалы» на индивидуальном профиле, то есть подсчитывается конфигурационное сходство синего и красного профилей — сходство по форме, а не по расстоянию между ними (!). Такое сходство оказывается высоким для всех экспертов, которых мы назвали «точными». Это Иванов, Петров, Сидоров, Андреев, Васильев. При этом неважно, что у Петрова весь профиль опущен, а у Сидорова — поднят. Важно, что у них обоих пики в целом совпадают с пиками на красном профиле, а провалы — с провалами на красном. Видите? — Это важно один раз, наконец, увидеть, чтобы понять, что такое … «корреляция». Это близость с учетом условных средних значений (отдельно для синего профиля и для красного профиля).

Достоинства подхода Б:

Этот подход нивелируют индивидуальные различия между экспертами в «строгости и доброте» и концентрирует внимание именно на форме оценочных профилей. Этот подход позволяет оставить для подсчета красного профиля более точную пятерку Иванов-Петров-Сидоров-Андреев-Васильев (или учитывать их вклад с большим весом), а отсеять тройку Равнодушнов-Держимордов-Дурашлепов, у которых иная конфигурация профиля — пики и провалы не совпадают (или учитывать их вклад с меньшим весом). Ну вот, казалось бы, этот подход — это то, что нужно. Но… не торопитесь. Увы, и этот подход тоже имеет свои недостатки.

Недостатки подхода Б:

Первое, что бросается в глаза: подход Б сложнее для подсчета, а главное — для понимания неискушенной публикой. Но это не главное. Главное, что он, как правило, завышает баллы для обладателей более резких (контрастных) профилей (особенно для Андреева) и занижает баллы точности оценок для более мягких и осторожных экспертов (для Васильева, например). Понятно, что нейтрально-умеренного Иванова этот подход плохо отличает от строгого Петрова и доброго Сидорова — дает им фактически одинаковые баллы. Когда это плохо сказывается? — Особенно в тех случаях, когда для разных подгрупп экзаменуемых создаются разные «подкомиссии». Что происходит если в первой подкомиссии оказываются одни только Петровы? — Все экзаменуемые в этой подгруппе получают низкие баллы — гораздо более низкие, чем в подгруппе, где все экзаменуемые могут наслаждаться от мягкости Сидоровых, от которые получают завышенные баллы (!). Таким образом, подход Б требует, чтобы:

1) комиссии были большими по численности и включали разных оценщиков с разными отклонениями (в разную сторону),

2) все члены большой комиссии оценивали всех (или почти всех) экзаменуемых (все конкурсные работы, а не часть работ).

А МОЖНО ЛИ СОВМЕСТИТЬ ДВА ПОДХОДА?

В этом году в конкурсе кейсов в режиме онлайн мы применяем подход Б, но это будут лишь предварительные результаты. Мы планируем в этом году сочетать подход А и подход Б. Каким образом? — Усреднять нормированные значения двух показателей и отсеять экспертов (снизить их влияние), которые будут выглядеть хуже других по сводному показателю А+Б. Конечно, автоматически скорректированные таким образом результаты мы не будем показывать участникам, а вначале рассмотрим, как отличаются результаты между подходами Б и А+Б. Рассмотрим на заседании жюри конкурса и утвердим определенное решение.

ПЕРСПЕКТИВЫ

На нашей предстоящей зимней ДПМШ — Дистанционной ПсихоМетрической Школе (февраль 2024) хотелось бы успеть дать участникам определенные навыки построения профилей и подсчета их близости по методам А и Б с помощью программы Эксель. Ведь все 8 профилей, которые Вы видите в этой статье, я построил очень быстро с помощью программы Эксель. Этот Эксель-файл заведомо будет доступным для участников школы.