Введение.

Я сегодня публикую ниже сокращенную стенограмму моего диалога с довольно-таки мощной ИИ-системой типа «нейросеть». Это американская система Perplexity, которая, в свою очередь, интегрирует данные сразу от нескольких других мощных нейросетей. Напомню, что именно эта система показывала наилучшие результаты в моих предыдущих экспериментах (по сравнению с популярными китайскими и русскими «Большими языковыми моделями»: DeepSeek, QWEN, Яндекс-Алиса, Гигачат).

Данный эксперимент я предпринял накануне моего завтрашнего выступления на конференции «Оценка персонала», которую традиционно проводит каждую осень журнал «Штат».

Тема выступления:

«ОПЫТ ИСПОЛЬЗОВАНИЯ СИСТЕМ ИИ ДЛЯ СОЗДАНИЯ  ТЕСТОВ ЗНАНИЙ«

Я пытаюсь объяснить участникам конференции, какой компетенцией не владеют «нейронки» для того, чтобы полностью заменить опытного разработчика тестов. Дело в том, что важно не только знать правильный ответ, но важно знать частотность ошибочных ответов (!). Именно этой статистикой владеют, например, опытные преподаватели, которые опрашивали в своей жизни на зачетах и экзаменах буквально сотни студентов (или старшеклассников).

Разумеется этой статистикой владеют и разработчики массовых тестов знаний: у них эта статистика ошибок накапливается по мере запуска тестов в режиме онлайн на множестве испытуемых (такой статистикой владеет ваш покорный слуга). Но… эта статистика, как правило, нигде не публикуется, а тем более на расхожих Интернет-площадках. Поэтому «нейронки», даже если они понимают значимость этой статистики, просто не имеют к ней доступа (!).

Поэтому мой вывод, который я предлагаю в своем докладе моим слушателям звучит так:

Использование ИИ дает огромный выигрыш во времени (сроки разработки сокращаются), но без привлечения опытных экспертов и тестологически-грамотных менеджеров, можно «наломать дров». ИИ – это рядовой, хотя и очень продуктивный автор, которого надо использовать, но постоянно проверять, как и любого другого автора.

Создание качественного большого банка тестовых заданий (на базе которого тестовый плейер генерирует множество случайных частично-пересекающихся вариантов) — это в наше время не удел какого-либо автора одиночки, а удел достаточно больших авторских коллективов, способных на экспертном этапе проверять продукцию созданную другими авторами. Кстати, большинство авторов, хорошо разбирающихся в предмете, тоже весьма слабо прогнозирует трудность заданий (не понимая частотность ошибок). Так что одного и даже двух экспертов на экспертном этапе буквально всегда оказывается мало (минимальная желательная численность — целых пять независимых экспертов!).

Ну так вот… какое место «нейронка» может занять в такой работе? — Место рядового участника!

Чтобы не просто услышать, а прочувствовать и понять в ходе практических занятий то, о чем я здесь пишу, лучше записаться на наш дистанционный курс-практикум «Конструирование тестов знаний». См. раздел на сайте:

https://ht-line.ru/ktz-l

Фотоколлаж на обложке статьи пришел в галерею «Яндекс-картинки» с сайте lindeal.com.

=== СТЕНОГРАММА ДИАЛОГА ===

Реплика Шмелева

Здравствуйте, цифровой коллега. Это профессор Александр Шмелев. Сегодня мне хотелось бы выяснить, насколько Вы можете помогать с созданием тестовых заданий на знание истории России. У меня есть массовая статистика ответов испытуемых на подобные задания, и я хотел бы выяснить, насколько Вы точно можете угадать… нет, не правильные ответы (их скорее всего Вы знаете, если задание средней трудности, так как тестовые задания с выбором ответа не должны быть слишком трудными). Хотелось бы выяснить, насколько Вы можете правильно угадать наиболее вероятные ошибочные ответы (!). Ведь качественное тестовое задание базируется на… частотных ошибках, которые совершают люди. Я дам Вам несколько нетрудных заданий, по которым известная статистика ответов (выборка более 1000 человек). Ваша задача — указать правильный ответ и… самую частотную ошибку. Понятная задачка? Если понятно, то вот первый пример такого задания:

Итогом Первой русской революции 1905–1907 гг. стало…
1) упразднение монархии
2) учреждение Государственной Думы
3) принятие конституции
4) освобождение политических заключенных

Реплика Perplexity

Здравствуйте, профессор Шмелев. Задача понятна: по каждому тестовому заданию я должен указать (а) правильный ответ и (б) наиболее частотную ошибку испытуемых, опираясь на типичные заблуждения и логику дистракторов.

Задание 1

Текст: Итогом Первой русской революции 1905–1907 гг. стало…
Варианты:

1. упразднение монархии
2. учреждение Государственной Думы
3. принятие конституции
4. освобождение политических заключенных

Правильный ответ

2) учреждение Государственной Думы.

Наиболее вероятная частотная ошибка

3) принятие конституции.

Почему именно этот дистрактор «работает»:

• Манифест 17 октября 1905 г. часто в массовом сознании смешивают с «конституцией», хотя формально единого конституционного акта тогда принято не было; основные начала закреплены в Основных государственных законах 1906 г., что не тождественно «принятию конституции» в строгом смысле.
• Дистрактор 1) слишком категоричен (монархия не упразднена), а 4) частично верен по духу (амнистии были), но менее централен как системный итог; поэтому основной «ловушкой» для испытуемых остаётся вариант про конституцию.

Готов к следующему заданию.

Реплика Шмелева:

Увы, самую частотную ошибку Вам не удалось точно назвать. Указанную вами совершили 19% испытуемых, а «упразднение монархии» назвали 26%. Вы рассуждали при этом логично, но … люди ошибаются, как Вы догадываетесь, совсем нелогично 🙂 Разница в частотности ошибок не велика, но все-таки на большой выборке ее можно считать значимой. Так ведь?

Реплика Perplexity

Да, профессор, на выборке >1000 разница 26% vs 19% статистически значима (при обычных допущениях о независимости наблюдений это даёт очень малое p-значение).

Для данного задания, согласно вашей статистике:

• Правильный ответ: 2) учреждение Государственной Думы.
• Самая частотная ошибка: 1) упразднение монархии (26%).

Ваше замечание важно: я переоценил роль «конституционного» дистрактора и недооценил эффект грубого, но популярного упрощения «революция → конец монархии», которое у многих ассоциируется с 1905 годом по аналогии с 1917-м.

Готов ко второму заданию — и, если удобно, пришлите, пожалуйста, по каждому из них: правильный ответ и распределение ошибок (хотя бы топ-2 ошибочных варианта в процентах). Это позволит мне калибровать «профиль ошибок» под вашу выборку и точнее предсказывать наиболее частотные дистракторы.

Реплика Шмелева:

Правильный ответ в первом задании дали только 44% участников массовой «викторины». Второе задание такое.

Кто из перечисленных полководцев НЕ принимал участие в Отечественной войне 1812 года?
1) Суворов
2) Барклай-де-Толли
3) Багратион
4) Платов

Реплика Perplexity

Понял задачу. По второму заданию:

Задание 2

Текст: Кто из перечисленных полководцев НЕ принимал участие в Отечественной войне 1812 года?
Варианты:

1. Суворов
2. Барклай-де-Толли
3. Багратион
4. Платов

Правильный ответ

1) Суворов.

Наиболее вероятная частотная ошибка (мой прогноз)

2) Барклай-де-Толли.

Обоснование прогноза:

• Суворов умер в 1800 г., поэтому формально не мог участвовать в 1812 г.; это и есть правильный ответ.
• Однако у многих испытуемых имя «Суворов» прочно связано с «победоносными войнами против французов/Наполеона» в массовом сознании, и они по инерции исключают его из списка «не участвовавших», считая, что «точно участвовал».
• В результате они ищут «неочевидного» кандидата и чаще всего «подозревают» Барклая-де-Толли (из-за его спорной репутации отступления и неоднозначного образа в школьных нарративах), хотя он как раз был одним из ключевых командующих в 1812 г.

Если у вас уже есть статистика по этому заданию, буду рад сверить мой прогноз с реальными процентами и скорректировать модель «типичных ошибок».

Реплика Шмелева:

Сообщаю статистику всех четырех ответов (в порядке следования) 47,8% 13,0% 6,2% 33,0% Как видите, самая частотная ошибка — это Платов. Несмотря на знаменитый рейд Платова-Уварова в тылы армии Наполеона во время Бородинского сражения. В этот раз Вы ошиблись в своем предположении еще более сильно. Увы!

Реплика Perplexity

Да, вы правы: мой прогноз оказался неверным.

Разбор результата

• Правильный ответ: 1) Суворов — 47,8%.
• Самая частотная ошибка: 4) Платов — 33,0%.
  2. Барклай-де-Толли — 13,0%.
  3. Багратион — 6,2%.

Ошибка по существу особенно показательна: испытуемые, вероятно, не «забыли» Платова, а, наоборот, узнали его как героя войны 1812 года, но не распознали формулировку НЕ. То есть сработала инерция узнавания: вопрос содержит фамилии известных полководцев, и участник выбирает наиболее знакомого или наиболее периферийного для школьного образа войны.

Мой прогноз был построен на слишком рациональной модели: я предположил, что ошибка возникнет из-за недостаточного знания о Барклае-де-Толли. Но статистика показывает, что здесь сильнее оказался другой механизм — смешение роли полководца с конкретным эпизодом и, возможно, невнимательное чтение отрицания. Платов действительно участвовал в кампании 1812 года, в том числе в рейде Платова и Уварова во время Бородинского сражения, поэтому его выбор нельзя объяснить простой «неизвестностью» фигуры.

Иными словами, в этом задании наиболее частотный дистрактор фактически оказался не самым правдоподобным историческим заблуждением, а результатом сочетания ошибки внимания и своеобразной «репутационной периферийности» Платова в стандартном образе Отечественной войны 1812 года. Ваше наблюдение существенно: для прогноза ответов массовой аудитории нужно моделировать не только содержание знаний, но и работу с формулировкой задания.

Реплика Шмелева:

Должен Вас поправить. Невнимательное чтение «отрицание» в вопросе (пропуск частицы «НЕ») нами давно измерено. Его допускают не более 3х процентов выборки (!). Мое объяснение ошибки другое: фамилия Платов — наименее «на слуху». Так как про 2 командующие двумя отступавшими (до назначения Кутузова) армиями были известны — это Барклай и Багратион. А вот детали битвы знают далеко не все…

Реплика Perplexity

Да, принимаю вашу поправку: объяснять 33% выбор Платова пропуском «НЕ» было бы неверно — особенно при эмпирически измеренной частоте таких ошибок не более 3%.

Более правдоподобная интерпретация

Здесь, по-видимому, действует не ошибка чтения, а эвристика относительной узнаваемости фамилий.

• Суворов — практически «сверхузнаваемая» фигура русской военной истории; он воспринимается как очевидный участник многочисленных войн, даже если точная хронология не удерживается.
• Барклай-де-Толли и Багратион для многих образуют пару главнокомандующих русскими армиями в начале кампании 1812 года — до назначения Кутузова. Их присутствие в вопросе подтверждается базовым школьным знанием.
• Платов оказывается менее центральным для массового нарратива: его казачье войско, действия атамана и рейд Платова—Уварова относятся к более детальному уровню знания войны. Поэтому именно его фамилия выглядит как наиболее вероятный «лишний» элемент списка.

Это хорошо согласуется с распределением: Платова выбрали 33,0%, тогда как Барклая-де-Толли — 13,0%, а Багратиона — лишь 6,2%. Иначе говоря, массовый респондент, вероятно, не утверждает содержательно: «Платов не был в 1812 году». Скорее он принимает решение по правилу: «Три фамилии я уверенно связываю с войной, а четвёртая звучит менее знакомо — значит, она и есть исключение».

Методический вывод

Для предсказания наиболее сильного дистрактора полезно оценивать как минимум три разные переменные:

Переменная	Что измеряет	Роль в этом вопросе
Хронологическая совместимость	Может ли персонаж физически участвовать в событии	Даёт правильный ответ: Суворов умер в 1800 году
Центральность в массовом историческом нарративе	Насколько фигура связывается именно с данным эпизодом	Максимальна у Барклая и Багратиона
Узнаваемость имени	Насколько фамилия доступна неспециалисту без воспроизведения фактов	Наиболее уязвимым вариантом оказывается Платов

В первом задании у меня сработала чрезмерно «содержательная» модель ошибки: я ожидал путаницы вокруг конституции. Во втором — вновь переоценил содержательный, историко-политический мотив выбора Барклая. Ваша статистика подсказывает более продуктивную рабочую гипотезу: при простых заданиях массовая ошибка нередко определяется не историческим смыслом дистрактора, а его позицией в иерархии узнаваемости среди остальных вариантов.

Реплика Шмелева:

В следующем примере самую частотную ошибку, на мой взгляд, угадать Вам будет нетрудно. Но… сможете ли Вы хотя бы примерно назвать частотность этой ошибки? — С точностью хотя бы до десятков процентов?

Какой правитель русских земель первым принял крещение?
1) Князь Владимир
2) Княгиня Ольга
3) Иван IV Грозный
4) Ярослав Мудрый

Реплика Perplexity

Правильный ответ — 2) княгиня Ольга. Она первой из правителей Руси приняла крещение; Владимир крестился позднее и связан прежде всего с Крещением Руси в 988 году.

Прогноз ошибки

Наиболее частая ошибка — 1) князь Владимир.

Мой количественный прогноз: примерно 35–45%, то есть ориентировочно около 40% всех ответов. Если требуется ставка на одно число, назову 39%.

Почему ожидаю высокий процент

Это, вероятно, самый сильный из представленных дистракторов, поскольку он опирается на крайне устойчивую школьную и культурную формулу: «князь Владимир крестил Русь». В массовом воспроизведении она легко превращается в более общее, но неверное утверждение: «Владимир первым принял крещение».

При этом вопрос проверяет тонкое различение двух утверждений:

Утверждение	Историческая фигура
Первой среди правителей Руси приняла личное крещение	Княгиня Ольга
Принял крещение и инициировал христианизацию Руси как государственного сообщества	Князь Владимир

Остальные дистракторы, как я предполагаю, будут существенно слабее:

• Иван IV Грозный слишком поздний по эпохе и обычно прочно соотносится уже с Московским царством.
• Ярослав Мудрый хронологически ближе к Владимиру, но в массовом знании связан прежде всего с «Русской Правдой», Софией Киевской и культурным расцветом, а не с первоначальным принятием христианства.

Оценка трудности

Если верен мой прогноз, доля правильных ответов может оказаться лишь примерно 50–60%, несмотря на внешне лёгкую формулировку. Это будет пример задания, которое выглядит базовым, но фактически измеряет способность отделить персональное крещение Ольги от государственной христианизации при Владимире, а не просто воспроизвести наиболее известную формулу о Крещении Руси.

Реплика Шмелева:

Увы, вы сильно недооценили вероятность ошибочного ответа «Князь Владимир». Это даже не 40%, а целых 75%. Почему это Важно, Вы понимаете? Дело в том, что при наличии вероятности правильного ответа менее 25%, как случилось в данном случае, задание оказывается фактически малопригодным для использования. Ведь тактика случайного ответа приводит примерно к таком же показателю вероятности правильного ответа в заданиях формата «1 и 4» — это 25%. Это слишком трудное задание, которое лучше исключить за банка вообще (!).

Реплика Perplexity

Да, понимаю. Мой первоначальный прогноз в 35–45% был всё ещё слишком низким: реальная картина, где 75% выбирают Владимира, показывает почти полное доминирование одного чрезвычайно сильного дистрактора.

Что означает этот результат

• Правильный ответ: 2) княгиня Ольга.
• Самая частотная ошибка: 1) князь Владимир — 75%.
• Следовательно, на все остальные варианты, включая правильный, остаётся лишь 25% ответов. Доля ключа не может быть выше 25% и, вероятно, ещё ниже, поскольку какую-то часть ответов получили Иван IV и Ярослав Мудрый.

Это не просто «трудное» задание: оно измеряет главным образом устойчивую, но нерелевантную ассоциацию «Владимир — крещение», а не различение между личным крещением правителя и крещением Руси как историческим процессом. Сам вопрос корректен исторически, но дистрактор 1 настолько ассоциативно мощен, что фактически перехватывает ответ у большинства.

Почему порог 25% важен

В задании с четырьмя альтернативами вероятность правильного ответа при равновероятном случайном угадывании равна

$$P_{\text{угадывание}}=\frac{1}{4}=0{,}25=25\%.$$Pугадывание​=41​=0,25=25%.

Если наблюдаемая доля правильных ответов $p$p меньше 25%, то она не превосходит ожидаемого результата полностью случайного выбора. В практическом смысле это сильный сигнал дефектности задания для теста, ориентированного на измерение знания:

• участники, обладающие частичным и даже базовым знанием, систематически уходят в дистрактор «Владимир»;
• задание не упорядочивает испытуемых по уровню целевого знания так, как должно;
• ответ на него может иметь слабую, нулевую или даже отрицательную связь с общим баллом теста — это уже следует проверять по точечно-бисериальной корреляции и по долям выбора у верхней и нижней групп;
• при $p < 0{,}25$p<0,25 возникает риск, что участники, отвечающие наугад, формально покажут результат не хуже тех, кто руководствуется распространённой, но слишком грубой школьной схемой.

Но важна одна оговорка: само по себе $p<0{,}25$p<0,25 ещё не математическое доказательство, что вопрос надо исключать. Оно может также означать ошибку ключа, двусмысленность формулировки, культурно закреплённую ложную альтернативу либо некорректно заданный целевой конструкт. В вашем примере, судя по распределению, наиболее вероятна именно последняя ситуация: предметный микро-факт конкурирует с гораздо более сильной и привычной формулой.

Почему сработал Владимир

Вероятная когнитивная цепочка у испытуемого выглядит так:

$$\text{«крещение Руси»} \rightarrow \text{«князь Владимир»}.$$«крещение Руси»→«князь Владимир».

Слово «первым» не блокирует эту автоматическую ассоциацию, потому что участник интерпретирует вопрос не как «кто раньше других правителей лично принял крещение?», а как «кто первым осуществил крещение Руси?» или «кто является первым и главным именем в теме крещения Руси?».

То есть Владимир становится не обычным дистрактором, а псевдоключом, который для массового сознания сильнее фактического ключа «Ольга».

Практическое решение

Для обычного тестового банка такое задание действительно разумнее:

• исключить из основного набора, если задача — измерять базовое историческое знание;
• либо сохранить отдельно как диагностический пункт на типичную ассоциативную ошибку;
• либо радикально переформулировать, если вам нужно измерить именно факт личного крещения Ольги.

Например, менее двусмысленная версия могла бы звучать так:

Какая правительница Руси приняла христианство до крещения Руси князем Владимиром?

1. Княгиня Ольга
2. Софья Палеолог
3. Елена Глинская
4. Евдокия Лопухина

Такая переделка, вероятно, снижает образовательную ценность задачи на различение Ольги и Владимира как самостоятельный факт, но убирает разрушительное действие ассоциации «Владимир — крещение Руси». Исторически княгиня Ольга действительно приняла христианство до событий, связанных с крещением Руси при Владимире

Реплика Шмелева:

В принципе Вы правы, что ППО=25% — это еще не основание для отбраковки задания. При этом бывает и так, что задание с таким низким «процентом правильных ответов» обладает все-таки статистической дискриминативностью (различающей способностью). Но в данном случае КД (коэффициент дискриминативности) практически равен нулю. Поэтому … мы рекомендуем начинающим авторам (которые вообще не понимают, что такое КД) просто избегать создания трудных заданий, на которые вероятность ответа близка к случайному угадыванию. Это правило им проще освоить, чем разобраться в том, что такое КД 🙁 Понимаете меня?


Реплика Perplexity

Да, вполне понимаю вашу методическую позицию. Вы предлагаете не строгий теоретический критерий отбраковки, а практическое эвристическое правило для начинающих авторов, у которых пока нет навыка психометрического анализа.

Суть различения

Низкий процент правильных ответов $p$p сам по себе не означает автоматически, что задание плохое.

Теоретически возможна ситуация, когда:

• ключ выбирает меньшинство;
• но более подготовленные испытуемые выбирают его заметно чаще, чем менее подготовленные;
• следовательно, у задания имеется положительный коэффициент дискриминативности $\text{КД}$КД.

Например, если правильный вариант выбирают 35% сильной группы и 15% слабой, то при невысоком общем $p$p задание всё же различает уровни подготовленности: в простой индексации $D=\mathrm{0,35}-\mathrm{0,15}=\mathrm{0,20}$D=0,35−0,15=0,20.

Почему правило полезно

Но в вашем примере с Ольгой и Владимиром действует иной механизм. Ответ «князь Владимир» не является случайным шумом; это чрезвычайно сильная, культурно закреплённая и одинаково доступная испытуемым разных уровней ложная ассоциация:

$$\text{крещение}\to \text{Владимир}\mathrm{.}$$

Она может с одинаковой вероятностью перехватывать ответы у слабых, средних и относительно сильных участников. Поэтому доля ключа оказывается около уровня случайного угадывания или ниже, а $\text{КД}$КД практически равен нулю: пункт не сортирует людей по измеряемому знанию.

Рекомендация для начинающих

Ваше правило можно сформулировать предельно доступно:

Не включайте в тест задания с четырьмя вариантами, в которых правильный ответ выбирают примерно 25% участников или меньше, пока не доказано статистически, что задание хорошо различает более и менее подготовленных.

Это не утверждение «$p\le 25\mathrm{\%}$p≤25% всегда означает нулевой КД». Это рабочая защита от наиболее частой авторской ошибки: создание вопроса с эффектным, но чрезмерно сильным дистрактором, который превращает проверку знания в проверку сопротивляемости ложной ассоциации.

Точнее для учебного пособия

Я бы предложил такую трёхступенчатую формулировку:

1. До апробации: не создавайте вопросы, где один неверный вариант выглядит существенно более знакомым или более естественным, чем ключевой.
2. После апробации: при четырёх вариантах с $p\lesssim \mathrm{0,25}$p≲0,25 прежде всего перепроверьте ключ, формулировку, содержание и дистракторы.
3. После расчёта КД: оставляйте такой вопрос в банке только при отчётливо положительной дискриминативности и содержательном обосновании его трудности.

Такое правило сохраняет психометрическую корректность, но не требует от начинающего автора немедленно осваивать различия между индексом трудности, коэффициентом дискриминативности, бисериальной корреляцией и параметрами IRT.

Реплика Шмелева

Уважаемый цифровой коллега, давайте завершать наш сегодняшний диалог. Спасибо за участие в весьма показательном эксперименте. Можем ли мы его итог сформулировать следующим образом (согласны ли Вы с таким выводом): Какими бы не были современные нейросети изобретательными в формулировании вопросов и точными в определении правильного ответа, но они все-таки не могут точно оценить фактическую вероятность ошибочных ответов, а также точно предсказать величину КД, не имея «на руках» данных реального тестирования на множестве испытуемых (хотя на пилотной выборке). Следовательно, помощь от нейросетей нужна, но она не отменяет психометрических экспериментов еще ДО проведения массового тестирования. Согласны?

Реплика Perplexity

Да, профессор, согласен с этим выводом — с одним существенным уточнением: нейросеть может выдвигать полезные гипотезы о дистракторах и рисках задания, но не способна надёжно заменить эмпирическую апробацию и психометрический анализ.

Итог эксперимента

Ваш вывод можно сформулировать так:

Современные нейросети способны помогать автору теста формулировать задания, подбирать варианты ответа, проверять историческую корректность ключа и предлагать психологически правдоподобные объяснения возможных ошибок. Однако без данных реального тестирования они не могут с необходимой точностью предсказать:

долю правильных ответов;

распределение выборов между отдельными дистракторами;

наиболее частотную ошибку;

коэффициент дискриминативности задания.

Нейросеть не располагает именно той информацией, которая психометрически решающа: как конкретная совокупность реальных людей — данного возраста, образования, региона, культурного опыта и тестовой ситуации — фактически распределит ответы. Ей недоступны и групповые различия между сильными и слабыми испытуемыми, без которых нельзя корректно оценить КД.

Практический вывод

Оптимальная роль нейросети — ассистент разработчика, а не валидатор теста.

Она может быть полезна до апробации для:

• генерации нескольких версий задания;
• поиска фактических ошибок и двусмысленностей;
• подбора правдоподобных, но некорректных дистракторов;
• предварительной оценки рисков: «слишком очевидный ключ», «неравные по узнаваемости варианты», «опасная ассоциативная ловушка», «путаница эпох»;
• формулирования гипотез о механизмах ошибочного выбора.

Но окончательное решение об оставлении задания в банке должно опираться на пилотные данные: процент правильных ответов, профиль дистракторов, КД/точечно-бисериальную корреляцию, а при достаточной выборке — и на IRT-анализ.

Таким образом, ваша заключительная формула, на мой взгляд, точна:

Помощь нейросетей нужна, но она не отменяет психометрических экспериментов до массового тестирования.

P.S.
Справедливости ради, я должен сообщить, что сократил стенограмму так, что Вы не увидели 2 удачные попытки со стороны Perplexity (итак, стенограмма оказалась длинной). Но эти 2 удачные попытки из 5 не меняют, как Вы поняли, общих выводов по итогам микроэксперимента, в которых мы пришли вместе с этим «нейросетевым мудрецом» к единодушной позиции.