Авторский блог А.Г. Шмелёва
-
Эффект «буба-кики» (результаты)
Итак, мы получили 74 протокола — от 74 участников нашего шуточного эксперимента «Буба-Кики». Здесь мы даем скриншоты — результат автоматизированного анализа тестовых заданий в нашей системе HT-LINE 3.0. Как видим, наша компьютерная программа автоматически подсчитывает частотность ответов и ключевой коэффициент КД — коэффициент дискриминативности для каждого задания. Хотите узнать подробности о том, что такое КД?…
-
Вакансия «Программист-стажер» в Центре тестирования «Гуманитарные технологии»
Уважаемые подписчики «блога А.Г.Шмелева»! Я, конечно, понимаю, что среди Вас вряд ли найдется кандидат на роль «программиста-стажера» в наш Центр. Но вот среди Ваших родственников и знакомых, возможно, найдется. Прошу Вас показать это сообщение (переслать) какому-то потенциально заинтересованному в этой позиции молодому человеку (если Вы такого знаете). Впрочем, это может быть и девушка, не обязательно…
-
Проценты и процентили? — Почему их так важно различать в научной тестологии
В этом году 2025 мы проводим цикл занятий КТЗ-25 летом, но данная статья по-прежнему сохраняется свою актуальность (короткая статья от января 2023 года).Хотя… важно сообщить, что место для саморегистрации на летней школе поменялось. Ниже даю кликабельный скриншот: ======================== 11 января 2023 Первейшая задача пользователя при обучении научной тестологии — это научиться различать проценты и процентили. Обратите внимание,…
-
Хватит ли Вашего логического мышления для работы в роли методиста — разработчика тестовых заданий? (онлайн-тест и его результаты)
Итак, три дня отведенных на наш условный конкурс (на самом деле очень дружеский) завершились! На удивление тест оказался популярным. Его выполнили уже 61 человек (и это еще не окончательная цифра — мы продолжаем держать тест открытым). Причем более трети (22 человека, или 37%) показали максимальный 100-процентный результат (!). Вот как выглядит гистограмма распределения тестовых баллов:…
-
Старые песни о космосе — «разбор полетов»
Итак, коллеги, за минувшие выходные мы собрали 22 протокола с ответами на наш короткий шуточный тестик «Старые песни о космосе». Это, конечно, маловато, но… взгляните ниже: уже такая маленькая выборка позволяет применить статистический подход к анализу качества тестовых заданий. ВНИМАНИЕ: кто еще хотел бы пройти тестик, то сделайте это по ссылке, которую я привожу в…
-
Какие «недодумки» демонстрирует DeepSeek как партнер по разработке тестов знаний?
Ни для кого не секрет, что разработчики тестовых заданий в настоящее время приступили к активному использованию ИИ. Это прежде всего такие LLM-системы как ChatGPT, DeepSeek, YandexGPT. Впрочем, если кто-то получил опыт работы с другими БЯМ-системами, напишите об этом в комментарии, пожалуйста. На днях я, пожалуй, впервые для себя плотно поработал с DeepSeek в качестве «партнера»…