195 прочтений

19 июня 2021

Картинка для заставки найдена автором статьи на сайте «город-задонск.рф».

Здесь во основном статья, написанная для моих подписчиков на Дзене в годы пандемии.
Но… Начну с предисловия, написанного специально для психологов в июне 2021 года, на форуме ЭСПП

===============

Коллеги,

Прошу почитать эту статью на моем Дзен-канале «Думай человек»:

https://zen.yandex.ru/media/id/6015…Id2j8VZ_tX1UZZlEGZkgRcJkcU7yaid4oVCOUWlbQHM2c

В конце статьи — отдельный параграф именно для психологов. Здесь я рассчитываю обычный фи-коэффициент и… он оказывается очень низким — только 0,08. Но значимым и полезным. Как и почему это происходит? — Читайте статью. Она поучительно в отношении того, как многое меняется при переходе к большим многотысячным выборкам с остро асимметричным распределением бинарных событий.

О применении ЧТС в тестологии подробно и с упражнениями идет речь в нашей Летней ПсихоМетрической Школе. Туда еще можно успеть записаться. Начало занятий — 21 июня.

=

Многие слышали, что коэффициент эффективности вакцины (КЭВ) колеблется для разных вакцин в районе 70-95%. Сегодня рассмотрим, как этот КЭВ рассчитывается на примере данных по российской вакцине «Спутник V». Эти данные были опубликованы в международном журнале «Ланцет» в январе 2021 года, и там мы находим значение КЭВ 91.4%. При этом основные выкладки освещаются на разных более и менее популярных сайтах. Вот, например, на этом:

https://nplus1.ru/news/2021/02/02/sputnik-phase-3-trial

Затем в ходе более массовой вакцинации для вакцины Спутник был получен даже более высокий КЭВ 0,97. Данные об этой более высокой эффективности Спутника я почерпнул на следующем официальном сайте:

https://tass.ru/obschestvo/11188213

Но давайте разберемся, как был получен первый КЭВ 91.4%, ибо в журнальной статье есть необходимые данные для наших собственных расчетов. Вот как выглядит таблица, по которой каждый может сам подсчитать КЭВ (здесь приводятся данные из журнальной статьи по Спутнику):

Таблица 1. Результаты третьей фазы испытания вакцины «Спутник V»

Некоторые коллеги мне уже сообщали, что у них «не сходятся цифры». Они привыкли, как это принято в доказательной медицине, обсчитывать данные по четырехклеточной таблице сопряженности (ЧТС) и получать показатели «чувствительности» и «специфичности» (или общий показатель accuracy), но в данном случае ни один из них НЕ дает цифру 91.4% (?!). Почему? – Давайте разбираться, как же считается особый коэффициент КЭВ.

Вот по этому источнику я сам уточнил впервые для самого себя вычислительную формулу для КЭВ:

Магия чисел: что можно сказать о вакцине по пресс-релизам (nplus1.ru)

Цитирую указанную выше статью «Магия чисел…»:

«…Для этого они (разработчики вакцин) делят долю заболевших в группе вакцины на долю заболевших в группе плацебо, вычитают результат из единицы и умножают на 100 процентов.

Э = (1 — (кейсы вакцина) / (всего вакцинированных) / (кейсы плацебо) / (всего плацебо)) × 100% «

Подставляем в эту формулу числа из журнальной таблицы:

КЭВ = ((1 – ( 16/14864 ) / ( 62/4893)) * 100% = (1 – 0,0126/0,0011) = 91.4%

Что за люди в группе «плацебо»? — Это не вакцинированные люди. Им просто впрыснули физраствор, но эти люди думали, что получили вакцину, и вели себя после этого также, как вакцинированные (смелее ходили на работу, по магазинам и т.п.)

Таким образом, все дело в том, что доля заболевших в группе «плацебо» оказалась многократно выше, чем в группе получивших реальную вакцину. Среди них процент заболевших превысил 1% и оказался равным 1.26%, тогда как среди вакцинированных доля заболевших оказалась значительно ниже – только 0,1%.

А МОЖНО ПРОЩЕ

Интересно и полезно сообщить Вам, друзья, что до того, как я добрался до этой статьи «Магия чисел…» с расчетной формулой КЭВ, я сам изобрел способ расчета, который дает приблизительно тоже самое значение, но мне самому кажется даже более понятным и простым.

Основной мой прием основывается на следующем логичном требовании к численности экспериментальной (вакцинированной) и контрольной (плацебо) групп: они должны быть равны по численности. А в таблице 1 численность группы плацебо оказалась почти в три раза меньше. Вы сами легко можете поделить 14864 на 4902 и получите поправочный коэффициент 3,03. Вот на этот коэффициент предлагаю умножать число заболевших в контрольной группе «плацебо». Получаем 62*3 = 186 человек. Вот столько должно было бы заболеть в этой группе, если бы в ней было в три раза больше человек и она была бы равна основной группе по численности. А теперь посчитаем долю заболевших среди вакцинированных от всех, кто должны были бы заболеть, если бы 2 группы были равной численности. Это доля равна:

КЭВ2 = 100*(16/ (16+186)) = 92.1%

Погрешность моего упрощенного коэффициента КЭВ2 по отношению к общепринятому коэффициенту КЭВ совсем не велика – находится в пределах ошибки измерения. Зато кому-то, как и мне, этот способ подсчета может показаться более понятным и более простым – подставлять надо меньше чисел и не таких больших.

ТЕПЕРЬ ПРО ИНТЕРПРЕТАЦИЮ ПРОЦЕНТОВ

Я много раз в жизни объяснял студентам, что не всякий показатель, выраженный в процентах, обозначает количество обследованных людей. Например, IQ в процентах выражает отношение к среднему результату по тесту интеллекта. Поэтому IQ может быть выше 100, что означает «результат выше среднего». А относительный тестовый балл «процент правильных ответов»(ППО) выражает в процентах отношение реального числа правильных ответов к максимально возможному числу правильных ответов. В знаменателе в случае показателя ППО не количество людей, а количество тестовых заданий, которые тестируемый может решить, если он — «идеальный», то есть абсолютно все задания решает правильно.

Как же перевести на язык «вероятного количества заболевших» полученное значение КЭВ? Можно ли вообще это делать? Корректно ли говорить о том, что в случае КЭВ=91.4% из 100 вакцинированных примерно 8-9 человек все-таки могут заболеть?

Рассмотрим самый предельный случай, когда вирус максимально заразен (контагиозен), а вакцина максимально эффективна. Тогда все, кто не получил прививку, должны заболеть. Все 100 процентов в группе «плацебо». А вот в группе вакцинированных никто не должен заболеть. Если подставим эти предельные значения в указанные выше формулы, мы получим КЭВ= 100%, то есть получим значение для идеальной вакцины.

Ну а теперь построим табличку для такого случая, когда вирус охватил половину популяции (среди невакцинированных заболели 50 из каждых 100) и вакцина защищает 90 процентов человек. Казалось бы, КЭВ должен быть равен в этом случае 90%, но… давайте считать. Построим табличку, в которой для простоты в каждой группе будет ровно 1000 (тысяча) человек:

Таблица 2. Искусственный пример.

Для этой таблички КЭВ = 80% (ибо доля привитых заболевших по отношению к доле непривитых заболевших составляет 20%). А приближенный коэффициент КЭВ2 = 83,3% (немного выше, но по-прежнему в интервале ошибки измерения).Означает ли при этом, что из 100 вакцинированных число заболевших 20 человек? – Нет, как мы видим в этом простом числовом примере доля заболевших- это 10 человек из каждых 100 вакцинированных, а не 20 человек. Точно также и значение КЭВ=91% не означает, что заболеет 9%, так как заболеет меньше. Причем тем меньше, чем ниже охват населения эпидемией. Так что КЭВ – это просто процент от максимального значения эффективности, а вовсе не отражает прямо процент заболевших (обратная величина 100-КЭВ — это НЕ есть процент заболевших).

Стоит обратить внимание и на такой поучительный факт. Когда мы говорим о долях или процентах, мы в случае с четырехклеточными таблицами можем подразумевать в знаменателе совершенно разные значения и по смыслу вероятностная логика меняется (!). Например, доля вакцинированных среди всех заболевших по таблице 2 равна 16,6% (это обратная величина моему значению КЭВ2), а вот доля заболевших среди вакцинированных — это совсем другая величина. Это 10%. Вот эти «нюансы» никогда не учитывают журналисты. НИКОГДА! А публика вслед за журналистами тоже не учитывает и… вообще ничего не понимает в числовых оценках эффективности (не все, но большинство).

КАК СВЯЗАНЫ КЭВ и ПРИВЫЧНЫЙ КОЭФФИЦИЕНТ СОПРЯЖЕННОСТИ?

(это продолжение будет, наверное, интересно только психологам)

Для таблицы ЧТС многие мои коллеги-психологи, работающие с тестами, привыкли рассчитывать так называемый коэффициент сопряженности. Их много таких коэффициентов, но самый популярный из них — это фи-коэффициент Гилфорда. Его легко (если Вы приличный алгебраист) вывести из линейного коэффициента корреляции Пирсона для случая двух бинарных (двухуровневых) переменных. Как мы-психологи знаем, коэффициент ФИ позволяет выразить точность (валидность) тестовых маркеров в отношении какого-то критериального события. Ну так вот… Допустим, что маркер сформулирован так «сделал прививку». С какой же силой в виде ФИ-коэффициента этот маркер коррелируют (статистически связан) с событием «заболел-не заболел»? Перестроим нашу табличку из журнала «Ланцет» таким образом, чтобы можно было подсчитать ФИ-коэффициент:

Таблица 1 в таком формате, который удобен для расчет коэффициента сопряженности.

Не буду здесь приводить формулу ФИ-коэффициента (она широко доступна для пытливых в Интернете, а также она дается в моей предыдущей статье «История из университетской жизни: про буквы в клеточках»). Просто укажу результат вычислений:

ФИ = 0,08

Ну как удивились, что такое низкое значение? Не верили мне, что доказательная медицина вполне принимает такие низкие значения статистической связи? Из-за огромной выборки (почти 20 тысяч человек) эта связь слабая, но абсолютно статистически неслучайна (Хи-квадрат показывает, что вероятность ошибки составляет ничтожные доли процента).

Все дело в том, что в психологии (и в тестологии) выборки на 2 порядка меньше, а то и на три, чем в эпидемиологии. Не 20 тысяч человек, а 200, а то и 20 человек (!). При этом на таких малых выборках группы легче уравнять по численности (добиться примерного равенстве по численности между экспериментальной и контрольной группой). А главное отличие: критериальное событие в психологии наступает гораздо чаще. Как и в области оценки персонала. Это событие типа «Кандидат успешно справился с работой» наступает для почти половины кандидатов. А вот заболевания даже в период эпидемии – это редкое событие (дай Бог, как говорится). Матрица ЧТС оказывается очень асимметричной по столбцам, поэтому надо вводить особые коэффициенты, чтобы измерить эффективность вакцины. Это не коэффициенты корреляции, а как видим совсем другие коэффициенты.