Авторский блог А.Г. Шмелёва
-
Эффект «буба-кики» (результаты)
Итак, мы получили 96 протоколов — от 96 участников нашего шуточного эксперимента «Буба-Кики». Здесь мы даем скриншоты — результат автоматизированного анализа тестовых заданий в нашей системе HT-LINE 3.0. Как видим, наша компьютерная программа автоматически подсчитывает частотность ответов и ключевой коэффициент КД — коэффициент дискриминативности для каждого задания. Хотите узнать подробности о том, что такое КД?…
-
«Чапай» как источник самодовольства 🙂
Иногда я пытаюсь еще и еще раз усвоить для себя, что же такое «сочный народный юмор». Ссылку на свежую коллекцию шуток про «Чапая» (где речь идет уже о смартфонах и т.п.) даю в конце этой краткой статьи. Делаю вывод, что народный персонаж «Чапай» дает возможность слушателю с удовольствием осознать себя: а) более «образованным» (ибо Чапай…
-
Проценты и процентили? — Почему их так важно различать в научной тестологии
В этом году 2025 мы проводим цикл занятий КТЗ-25 летом, но данная статья по-прежнему сохраняется свою актуальность (короткая статья от января 2023 года).Хотя… важно сообщить, что место для саморегистрации на летней школе поменялось. Ниже даю кликабельный скриншот: ======================== 11 января 2023 Первейшая задача пользователя при обучении научной тестологии — это научиться различать проценты и процентили. Обратите внимание,…
-
Хватит ли Вашего логического мышления для работы в роли методиста — разработчика тестовых заданий? (онлайн-тест и его результаты)
Итак, три дня отведенных на наш условный конкурс (на самом деле очень дружеский) завершились! На удивление тест оказался популярным. Его выполнили уже 61 человек (и это еще не окончательная цифра — мы продолжаем держать тест открытым). Причем более трети (22 человека, или 37%) показали максимальный 100-процентный результат (!). Вот как выглядит гистограмма распределения тестовых баллов:…
-
Как лучше комментировать свои слабости на интервью (Четырехполюсная теория черт)?
Недавно в ходе своих занятий с тренажером Puzzle English я столкнулся с интересным для психологов учебным текстом: «What is your biggest weakness?» (Каков ваш главный недостаток?) Ведущий — психолог и коуч — в этом учебном видеоролике посоветовал соискателям признать свой вполне реальный главный недостаток (weakness), но при этом прокомментировать его как … «продолжение своего же достоинства» (strength). В принципе…
-
Какие «недодумки» демонстрирует DeepSeek как партнер по разработке тестов знаний?
Ни для кого не секрет, что разработчики тестовых заданий в настоящее время приступили к активному использованию ИИ. Это прежде всего такие LLM-системы как ChatGPT, DeepSeek, YandexGPT. Впрочем, если кто-то получил опыт работы с другими БЯМ-системами, напишите об этом в комментарии, пожалуйста. На днях я, пожалуй, впервые для себя плотно поработал с DeepSeek в качестве «партнера»…