Это статья была опубликована на форуме ЭСПП, где ее просмотрело не так много человек — 1143.
Вам кажется, что это много? Но ведь ЧТС — это совершенно базовый элемент психометрики, с моей точки зрения. Этим инструментом должны владеть буквально все психологи. И не только те, кто конструирует тесты, но и те, кто ими пользуется!
===========================
Коллеги, здравствуйте!
Тем из Вас, кто немножко интересуется психометрическим тестированием, будет небезынтересно узнать, сколько людей НЕ умеет разбираться в строках
и столбцах элементарных таблиц 2 на 2 (и понять, что же стоит за этими ошибками).
В настоящее время (в ноябре 2021) мы получили в нашем клубе КИТТ 110 протоколов с ответами от участников, которые пришли в наш клубе (на огонек — на отдельный тестик) из Дзен-канала «Думай Человек». Они выполняли 10 обучающих заданий (с текущей обратной связью), построенных на основе ЧТС.
Вот самое первое и самое простое задание, которое призвано СНЯТЬ НАПРЯЖЕНИЕ — настолько элементарной, чтобы придать участнику уверенность, чтобы он не бросил тест, а поверил в свои силы и пошел дальше.
На самом первом экране надо было ответить всего лишь на вопрос, имеется ли какая-то связь? Правильных ответов, думаете, сколько? — Только 83 процента. Я-то думал, что ошибок будет процентов пять (надеялся), но их все же 17%. А это ведь несмотря на то. что на тест пошли отнюдь не все, кто читал статью на тему ЧТС на Дзене, а пошли только любознательные ( а в статье я там все разжевываю так, что «слишкам многа бука»). А сколько было бы ошибок, если бы это было сплошное, обязательное тестирование всех взрослых людей?
Но еще интересней нам с Вами вместе проанализировать статистику ответов на второе задание этого обучающего теста:
Как видим, здесь уже не 17% ошибок, а целых 24% ошибок (ошибается четверть!) Причем видно, что самая типичная ошибка (на нее приходится 16% от всех ответов) — в первом ответе. Это когда анализ вероятности сводится к анализу первой строки. Вот именно эту ошибку и совершают ОЧЕНЬ МНОГИЕ, когда пытаются рассуждать про эффективность вакцинации. Но… учится не делать эту ошибку просто НЕ хотят — «многа букав и цифирок», или «да хто их когда учитывает эти проценты…», или «проф, вспомни-ка лучше Марка Твена про наглую ложь и статистику, а еще очки надел».
Обратите внимание, что наша базовая платформа — система HT-LINE — автоматически построила таблицу 2 на 2 для этого задания (ЧТС) и рассчитывает автоматически «коэффициент дискриминативности» (КД). В данном задании это коэффициент высокий и равный 0,42. Это выше случайного порога 0,3, то есть задание ХОРОШЕЕ (психометрически пригодное для тестирования). Это задание согласуется с другими заданиями теста и с попаданием испытуемых в высокую или низкую группу по величине суммарного балла. Содержательно это означает: кто ошибся в ответе на это задание, тот будет и дальше… ошибаться по другим заданиям этого теста, включая задания на тему «эффективность вакцинации».
Где мы систематически помогаем нашим коллегам работать с ЧТС и создавать качественные тестовые задания в тестах знаний — задания с высоким (значимым) коэффициентом дискриминативности? — Это в наших Дистанционных ПсихоМетрических Школах (!). Ближайшая и очередная зимняя намечена на конец января. Главное, внимание — это дистанционный ПРАКТИКУМ (!).
А какое задание получило самый высокий КД у нас на этом материале?
Вот так выглядит это последнее задание этого короткого теста из 10 заданий.
Как видим, КД=0,75 (кто не в курсе, это очень высокое значение для выборки в 110 человек!). Как видим, это как раз задание на тему вакцинации. Как видим, люди либо в нерешительности (26 процентов), либо совершают ту самую роковую ошибку, когда продолжают упорно учитывать только первую строку, а не всю таблицу в целом.
Таким образом, очень простой прием — диагностика умения или неумения работать мысленно и правильно с ЧТС — показывает, что следствием неумения является СИСТЕМАТИЧЕСКАЯ ОШИБКА — появляется ЛОЖНЫЙ МЕТОД расчета эффективности вакцинации, ошибочная сведение эффективности к неправильно подсчитанному проценту (по первой строке, вместо первого столбца). А ведь это при том, что в данном случае ЧТС просто у людей ПЕРЕД ГЛАЗАМИ (!).
Ну а что происходит тогда, когда ничего нет перед глазами и надо соображать » в уме»? А это вот и происходит — систематическая путаница в головах происходит. Я это все хорошо знал за 40 лет работы со студентами-гуманитариями в МГУ. Тридцать процентов студентов-психологов из лучшего вуза страны так и остаются без необходимых навыков в работе с ЧТС (ищут пути получить зачет любым другим способом). Всеми виной — трагический провал в школьных программах, который уже невозможно исправить во взрослом возрасте. Все начинается с путаницы между числителем и знаменателем и в «непонятке», откуда вообще брать знаменатель. Потом возникает гарантированный провал не просто в расчете процентов. Нет вероятностного мышления! И это беда, которую трудно скомпенсировать.
Хотите укрепиться в работе с ЧТС — ключевым инструментом и для доказательной медицины, и для научной тестологии? Или хотите порекомендовать нашу школу кому-то из своих знакомых (коллег, учеников)?
А вот здесь ссылка на рекламный лэндинг-сайт, где можно записаться на очередную ДПМШ
Добавить комментарий