Итак, коллеги, мы завершаем наш первый эксперимент по измерению валидности экспертных оценок, вынесенных на основании «прокторинга» — анализа видеозаписей выполнения тестов (экспериментальный проект ВУР в клубе КИТТ). Предварительные результаты обнадеживают, но… сейчас не о них пока идет речь.
Хотелось бы добиться обобщения понятий и процедур ЛОГИКО-ДИАГНОСТИЧЕСКОГО МЫШЛЕНИЯ. Без логико-диагностического мышления на самом деле в психодиагностике никуда, да и в любой диагностике, включая медицинскую. Недавно мы говорили здесь о «чувствительности и специфичности» — двух критериях для оценки эффективности медицинской диагностической методики (тестов на КОВИД). Говорили с использованием ЧТС — Четырехклеточной Таблицы Сопряженности.
А сегодня немного поговорим о том, как те же самые логико-статистические четырехклеточные таблицы помогают нам разобраться в … криминалистической диагностике. На самом деле основной логикой здесь является понимание природы опять-таки не одной судебной-криминалистической ошибки, а двух ошибок. Если полезете в Википедию, то встретите там неправильное толкование того, что есть судебная ошибка. Там рассматривают только «ошибочное осуждение». Это понятно — это результат «оправдательного уклона» в нашей юридической политике и практике после 1991 года. На самом деле ошибок 2 и они по логике — те же самые ошибки, что и «пропуск», и «ложная тревога». Пропуск — это в данном случае «ложное оправдание». Если мы не допустили ни одной ошибки типа «ложная тревога», то есть ни одной ошибки типа «ложное осуждение» (не осудили ни одного невиновного), то это еще не значит, что мы отработали безупречно. На самом деле надо еще получить данные о том, сколько ошибок типа «пропуск» (или «ложное оправдание») мы допустили. В случае прокторинга — это признание честным респондентом того, кто на самом деле выполнял тест как «читер» (мошенник). Если из 100 честных мы признали честными все 100, но при этом из 100 мошенников мы признали читерами только 80, а 20 посчитали ошибочно честными, то это значит в терминах медицинской диагностики, что у нас при высокой чувствительности, на самом деле низкая специфичность. А общая точность ниже, чем 100, так как многовато ошибок типа «пропуск». В этом случае ФИ-коэффициент по ЧТС будет равен только лишь 0,82, что для криминалистической диагностики маловато, мягко говоря.
Вот как выглядит ЧТС, которая дает нам фи=0,82
| Честный | Читер | |
| Признан честным | 100 | 20 |
| Признан читером | 0 | 80 |
Если Вы хотите овладеть таким универсальным методом диагностического мышления, который базируется на ЧТС, записывайтесь на нашу летнюю Дистанционную ПсихоМетрическую школу
Занятия начинаются 27 июня. Сейчас зарегистрировались на школу уже 41 человек.
Ваш АШ
P.S.
Справедливости ради следует признать, что в отличие от Википедии (один из инструментов «промывки мозгов» между прочим — под видом независимой народной энциклопедии) в серьезных работах ученых юристов и криминалистов, конечно, обсуджаются ошибки двух типов. Вот пример первой попавшейся мне такой статьи (по запросу в Яндексе):
https://cyberleninka.ru/article/n/sudebnye-oshibki-v-yurisdiktsionnom-yuridicheskom-protsesse
Важно подчеркнуть, что управление балансом ошибок первого рода («пропусков») и второго рода («ложных тревог») само по себе не может привести к повышению точности диагностики: при этом мы просто перебрасываем объекты из зоны «неопределенность» (те, которые не может однозначно распознать, ибо у них противоречивый набор признаков) то в категории «виновен» («читер»), то в категорию «не виновен» (честный испытуемый). Что произойдет, например, с фи-коэффициентом, если мы подвинем критерий отсечения и из 20 читеров половина испытуемых перескочит в категорию «обнаруженные читеры» и таблица ЧТС примет такой вид:
| Честный | Читер | |
| Признан честным | 90 | 10 |
| Признан читером | 10 | 90 |
А фи-коэффициент останется примерно тем же самым =0,8.
Такое же значение примет и более простой в вычислительном плане коэффициента дискриминативности КД1.
Из каких же соображений исходят специалисты, если один тип ошибок однозначно считают более страшным и нежелательным, чем другой тип ошибок? — Они прямо вытекают из наших представлений о «цене» — размере тех издержек, которые порождают для системы разные ошибки. Они могут быть существенно разными. Если в обществе низкий уровень преступности, то ошибка типа «ложная тревога» (ложное осуждение) может быть более опасной, чем «пропуск». Но… увы, если в обществе высокая преступность и законопослушных граждан надо защищать в большей степени именно от преступников, а не от «обвинительного судопроизводства», то тогда страшней оказываются ошибки типа «пропуск». Чувствуете какой тут выход на острую политическую дискуссию о том, как достигается общественная безопасность? Опять она — «политика», будь она трижды неладна… Смотрите тогда мой телеграм-канал, где меня ничто не ограничивает (устав ЭСПП не действует) в том, чтобы обсждать политические аспекты криминалистической диаuностики.
Канал — Alexander Shmelyov.
Добавить комментарий