Введение

Я сегодня публикую ниже сокращенную стенограмму моего диалог с довольно-таки мощной ИИ-системой типа «нейросеть». Это американская система Perplexity, которая, в свою очередь, интегрирует данные сразу от нескольких других мощных нейросетей. Напомню, что именно эта система показывала наилучшие результаты в моих предыдущих экспериментах (по сравнению с популярными китайскими и русскими «Большими языковыми моделями»).

================================

Реплика Шмелева
Здравствуйте, цифровой коллега. Это профессор Александр Шмелев. Сегодня мне хотелось бы выяснить, насколько Вы можете помогать с созданием тестовых заданий на знание истории России. У меня есть массовая статистика ответов испытуемых на подобные задания, и я хотел бы выяснить, насколько Вы точно можете угадать… нет, не правильные ответы (их скорее всего Вы знаете, если задание средней трудности, так как тестовые задания с выбором ответа не должны быть слишком трудными). Хотелось бы выяснить, насколько Вы можете правильно угадать наиболее вероятные ошибочные ответы (!). Ведь качественное тестовое задание базируется на… частотных ошибках, которые совершают люди. Я дам Вам несколько нетрудных заданий, по которым известная статистика ответов (выборка более 1000 человек). Ваша задача — указать правилный и ответ и… самую частотную ошибку. Понятная задачка? Если понятно, то вот первый пример такого задания:

Итогом Первой русской революции 1905–1907 гг. стало…
1) упразднение монархии
2) учреждение Государственной Думы
3) принятие конституции
4) освобождение политических заключенных

Реплика Perplexity

Здравствуйте, профессор Шмелев. Задача понятна: по каждому тестовому заданию я должен указать (а) правильный ответ и (б) наиболее частотную ошибку испытуемых, опираясь на типичные заблуждения и логику дистракторов.

Задание 1

Текст: Итогом Первой русской революции 1905–1907 гг. стало…
Варианты:

1. упразднение монархии
2. учреждение Государственной Думы
3. принятие конституции
4. освобождение политических заключенных

Правильный ответ

2) учреждение Государственной Думы.

Наиболее вероятная частотная ошибка

3) принятие конституции.

Почему именно этот дистрактор «работает»:

• Манифест 17 октября 1905 г. часто в массовом сознании смешивают с «конституцией», хотя формально единого конституционного акта тогда принято не было; основные начала закреплены в Основных государственных законах 1906 г., что не тождественно «принятию конституции» в строгом смысле.
• Дистрактор 1) слишком категоричен (монархия не упразднена), а 4) частично верен по духу (амнистии были), но менее централен как системный итог; поэтому основной «ловушкой» для испытуемых остаётся вариант про конституцию.

Готов к следующему заданию.

Реплика Шмелева:

Увы, самую частотную ошибку Вам не удалось точно назвать. Указанную вами совершили 19% испытуемых, а «упразднение монархии» назвали 26%. Вы рассуждали при этом логично, но … люди ошибаются, как Вы догадываетесь, совсем нелогично 🙂 Разница в частотности ошибок не велика, но все-таки на большой выборке ее можно считать значимой. Так ведь?

Да, профессор, на выборке >1000 разница 26% vs 19% статистически значима (при обычных допущениях о независимости наблюдений это даёт очень малое p-значение).

Для данного задания, согласно вашей статистике:

• Правильный ответ: 2) учреждение Государственной Думы.
• Самая частотная ошибка: 1) упразднение монархии (26%).

Ваше замечание важно: я переоценил роль «конституционного» дистрактора и недооценил эффект грубого, но популярного упрощения «революция → конец монархии», которое у многих ассоциируется с 1905 годом по аналогии с 1917-м.

Готов ко второму заданию — и, если удобно, пришлите, пожалуйста, по каждому из них: правильный ответ и распределение ошибок (хотя бы топ-2 ошибочных варианта в процентах). Это позволит мне калибровать «профиль ошибок» под вашу выборку и точнее предсказывать наиболее частотные дистракторы.

Реплика Шмелева:

Правильный ответ в первом задании дали только 44% участников массовой «викторины». Второе задание такое.

Кто из перечисленных полководцев НЕ принимал участие в Отечественной войне 1812 года?
1) Суворов
2) Барклай-де-Толли
3) Багратион
4) Платов

Реплика Perplexity

Понял задачу. По второму заданию:

Задание 2

Текст: Кто из перечисленных полководцев НЕ принимал участие в Отечественной войне 1812 года?
Варианты:

1. Суворов
2. Барклай-де-Толли
3. Багратион
4. Платов

Правильный ответ

1) Суворов.

Наиболее вероятная частотная ошибка (мой прогноз)

2) Барклай-де-Толли.

Обоснование прогноза:

• Суворов умер в 1800 г., поэтому формально не мог участвовать в 1812 г.; это и есть правильный ответ.
• Однако у многих испытуемых имя «Суворов» прочно связано с «победоносными войнами против французов/Наполеона» в массовом сознании, и они по инерции исключают его из списка «не участвовавших», считая, что «точно участвовал».
• В результате они ищут «неочевидного» кандидата и чаще всего «подозревают» Барклая-де-Толли (из-за его спорной репутации отступления и неоднозначного образа в школьных нарративах), хотя он как раз был одним из ключевых командующих в 1812 г.

Если у вас уже есть статистика по этому заданию, буду рад сверить мой прогноз с реальными процентами и скорректировать модель «типичных ошибок».

Реплика Шмелева:

Сообщаю статистику всех четырех ответов (в порядке следования) 47,8% 13,0% 6,2% 33,0% Как видите, самая частотная ошибка — это Платов. Несмотря на знаменитый рейд Платова-Уварова в тылы армии Наполеона во время Бородинского сражения. В этот раз Вы ошиблись в своем предположении еще более сильно. Увы!

Реплика Perplexity

Да, вы правы: мой прогноз оказался неверным.

Разбор результата

• Правильный ответ: 1) Суворов — 47,8%.
• Самая частотная ошибка: 4) Платов — 33,0%.
  2. Барклай-де-Толли — 13,0%.
  3. Багратион — 6,2%.

Ошибка по существу особенно показательна: испытуемые, вероятно, не «забыли» Платова, а, наоборот, узнали его как героя войны 1812 года, но не распознали формулировку НЕ. То есть сработала инерция узнавания: вопрос содержит фамилии известных полководцев, и участник выбирает наиболее знакомого или наиболее периферийного для школьного образа войны.

Мой прогноз был построен на слишком рациональной модели: я предположил, что ошибка возникнет из-за недостаточного знания о Барклае-де-Толли. Но статистика показывает, что здесь сильнее оказался другой механизм — смешение роли полководца с конкретным эпизодом и, возможно, невнимательное чтение отрицания. Платов действительно участвовал в кампании 1812 года, в том числе в рейде Платова и Уварова во время Бородинского сражения, поэтому его выбор нельзя объяснить простой «неизвестностью» фигуры.

Иными словами, в этом задании наиболее частотный дистрактор фактически оказался не самым правдоподобным историческим заблуждением, а результатом сочетания ошибки внимания и своеобразной «репутационной периферийности» Платова в стандартном образе Отечественной войны 1812 года. Ваше наблюдение существенно: для прогноза ответов массовой аудитории нужно моделировать не только содержание знаний, но и работу с формулировкой задания.

Должен Вас поправить. Невнимательное чтение «отрицание» в вопросе (пропуск частицы «НЕ») нами давно измерено. Его допускают не более 3х процентов выборки (!). Мое объяснение ошибки другое: фамилия Платов — наименее «на слуху». Так как про 2 командующие двумя отступавшими (до назначения Кутузова) армиями были известны — это Барклай и Багратион. А вот детали битвы знают далеко не все…

Да, принимаю вашу поправку: объяснять 33% выбор Платова пропуском «НЕ» было бы неверно — особенно при эмпирически измеренной частоте таких ошибок не более 3%.

Более правдоподобная интерпретация

Здесь, по-видимому, действует не ошибка чтения, а эвристика относительной узнаваемости фамилий.

• Суворов — практически «сверхузнаваемая» фигура русской военной истории; он воспринимается как очевидный участник многочисленных войн, даже если точная хронология не удерживается.
• Барклай-де-Толли и Багратион для многих образуют пару главнокомандующих русскими армиями в начале кампании 1812 года — до назначения Кутузова. Их присутствие в вопросе подтверждается базовым школьным знанием.
• Платов оказывается менее центральным для массового нарратива: его казачье войско, действия атамана и рейд Платова—Уварова относятся к более детальному уровню знания войны. Поэтому именно его фамилия выглядит как наиболее вероятный «лишний» элемент списка.

Это хорошо согласуется с распределением: Платова выбрали 33,0%, тогда как Барклая-де-Толли — 13,0%, а Багратиона — лишь 6,2%. Иначе говоря, массовый респондент, вероятно, не утверждает содержательно: «Платов не был в 1812 году». Скорее он принимает решение по правилу: «Три фамилии я уверенно связываю с войной, а четвёртая звучит менее знакомо — значит, она и есть исключение».

Методический вывод

Для предсказания наиболее сильного дистрактора полезно оценивать как минимум три разные переменные:

Переменная	Что измеряет	Роль в этом вопросе
Хронологическая совместимость	Может ли персонаж физически участвовать в событии	Даёт правильный ответ: Суворов умер в 1800 году
Центральность в массовом историческом нарративе	Насколько фигура связывается именно с данным эпизодом	Максимальна у Барклая и Багратиона
Узнаваемость имени	Насколько фамилия доступна неспециалисту без воспроизведения фактов	Наиболее уязвимым вариантом оказывается Платов

В первом задании у меня сработала чрезмерно «содержательная» модель ошибки: я ожидал путаницы вокруг конституции. Во втором — вновь переоценил содержательный, историко-политический мотив выбора Барклая. Ваша статистика подсказывает более продуктивную рабочую гипотезу: при простых заданиях массовая ошибка нередко определяется не историческим смыслом дистрактора, а его позицией в иерархии узнаваемости среди остальных вариантов.

Реплика Шмелева:

В пятом примере самую частотную ошибку, на мой взгляд, угадать Вам будет нетрудно. Но… сможете ли Вы хотя бы примерно назвать частотность этой ошибки? — С точностью хотя бы до десятков процентов?

Какой правитель русских земель первым принял крещение?
1) Князь Владимир
2) Княгиня Ольга
3) Иван IV Грозный
4) Ярослав Мудрый

Реплика Perplexity

Правильный ответ — 2) княгиня Ольга. Она первой из правителей Руси приняла крещение; Владимир крестился позднее и связан прежде всего с Крещением Руси в 988 году.

Прогноз ошибки

Наиболее частая ошибка — 1) князь Владимир.

Мой количественный прогноз: примерно 35–45%, то есть ориентировочно около 40% всех ответов. Если требуется ставка на одно число, назову 39%.

Почему ожидаю высокий процент

Это, вероятно, самый сильный из представленных дистракторов, поскольку он опирается на крайне устойчивую школьную и культурную формулу: «князь Владимир крестил Русь». В массовом воспроизведении она легко превращается в более общее, но неверное утверждение: «Владимир первым принял крещение».

При этом вопрос проверяет тонкое различение двух утверждений:

Утверждение	Историческая фигура
Первой среди правителей Руси приняла личное крещение	Княгиня Ольга
Принял крещение и инициировал христианизацию Руси как государственного сообщества	Князь Владимир

Остальные дистракторы, как я предполагаю, будут существенно слабее:

• Иван IV Грозный слишком поздний по эпохе и обычно прочно соотносится уже с Московским царством.
• Ярослав Мудрый хронологически ближе к Владимиру, но в массовом знании связан прежде всего с «Русской Правдой», Софией Киевской и культурным расцветом, а не с первоначальным принятием христианства.

Оценка трудности

Если верен мой прогноз, доля правильных ответов может оказаться лишь примерно 50–60%, несмотря на внешне лёгкую формулировку. Это будет пример задания, которое выглядит базовым, но фактически измеряет способность отделить персональное крещение Ольги от государственной христианизации при Владимире, а не просто воспроизвести наиболее известную формулу о Крещении Руси.