Итак, коллеги, продолжаем разговор, начатый вчера в публикации на моем блоге под названием:

16PF – краткая история знаменитого тест-опросника и накопленные в России изменения за 40 лет — Авторский блог А.Г. Шмелёва

Вчера мы говорили об изменениях в тестовых нормах (средних показателях), но вообще-то  разговор о нормах имеет смысл только в том случае, если за 40 лет в тест-опроснике 16PF(A)  сохранили свою жизнеспособность (диагностическую информативность) сами тестовые задания  и ключи к ним (то есть статистические связи ответов на задания с тестовыми шкалами).

Давайте проверим, работают ли тестовые задания на свои шкалы по накопленным данным, включая данные последних лет (двадцатые годы нынешнего 21 века). Возьмем для корреляционного анализа   2 тысячи последних (самых свежих) протоколов (точней после отсева «прощелкиваний» вместо 2000 осталось 1864 протокола, из массива было удалено около 7% брака).

Вообще-то при такой многочисленной выборке фи-коэффициент сопряженности (между ответами и попаданием в крайние группы по факторной шкале) оказывается статистически высоко значимым (на уровне ошибки p<0,001) уже тогда , когда достигает по модулю хотя бы 0,08 (!). Но содержательный анализ пунктов с такой низкой сопряженностью по отношению к «своей шкале» показывает, что никакой содержательной связи в таком случае, как правило, не видно вообще (!). Поэтому мы снизили в данном случае требование к плотности связи (с привычных КД>0,3 до  КД>0,2, но все-таки не до КД>0,08) и произвели анализ всех ключей для 187 заданий по нашей самой древней версии 16PF(A), созданной еще в 1980-е годы и опубликованной в 1988 году.

ИТОГ КОРРЕЛЯЦИОННОГО АНАЛИЗА ЗАДАНИЙ[1]

Было выявлено 14 заданий с коэффициентами дискриминативности КД<0,2. Это, надо сказать, совсем немного.  Это только  14/187 =7,5% (!). Мы ожидали отсев недиагностичных заданий в гораздо большем объеме.  Эти задания мы начали заменять (перед запуском обновленной версии А-187 в этом сентябре в клубе КИТТ).

В таблице 1 приведены примеры некоторых «выбывших заданий» и то, на что они были заменены в сентябре этого 2026 года (7 примеров из 14 замен).

Таблица 1. Примеры заданий, которые плохо работали в старой версии 16PF(A) и были заменены.

Уважаемые коллеги, если Вы внимательно прочтете и вдумаетесь в содержание «плохих заданий», то Вы наверняка согласитесь со мной, что они выглядят очень странными! – В том смысле, что, как правило, по их содержательному смыслу не видно никакой связи с той тестовой шкалой, к которой они отнесены (!) В ряде случаев кажется, что вопрос сам по себе вовсе не плохой, но должен быть связан ключевыми связями с другой шкалой (например, кажется, что вопрос 39 должен работать на фактор I «Чувствительность», но не фактор M «Мечтательность»).

Должен сказать, что тщательная проверка того, как эти задания попали в старинную форму А, заставила меня порыться в очень и очень древних архивах и показала, что это, видимо, задания, пришедшие еще из сыроватого перевода опросника, выполненного еще в 1970-1080-е годы Маргаритой  Жамкочьян (СПбГУ), а затем попавшие в пособие по этой методике, изданное в Ярославле (авторы-составители А.А.Рукавишников и  М.В.Соколова, 1995).

Почему же я ожидал, что должно быть побольше «плохих заданий», а оказалось так много «хороших» (вполне диагностичных по данным статистики)? – Видимо, сказалась необычайная разнородность данной многочисленной выборки (напомню, что это пользователи, посетившие сайт  psytest.org). На более однородных выборках, которые были нам доступны ранее, как правило, был выше процент отбраковки негодных тестовых заданий (особенно в 20 веке наша лаборатория находилась на «голодном пайке», иногда вынужденная ограничиться лишь респондентами из числа студентов МГУ – в лучше случае непсихологических факультетов).

СНОВА ПРОБЛЕМАТИЗИРУЕМ УСТОЙЧИВОСТЬ И УНИВЕРСАЛЬНОСТЬ МОДЕЛИ 16PF

Как Вы знаете, с факторной системой 16PF  связан такой исторический казус (или даже это можно назвать «скандальная подробность»):

Никто более, кроме самого Раймонда Кэттелла, не воспроизвел в своих исследованиях эти самые 16 факторов (!)

Как правило, все серьезные исследователи-психометристы, кто занимался такой проверкой, воспроизводили только лишь «Большую пятерку» (они же – вторичные факторы Кэттелла), а также изредка некоторые факторы из числа 16PF (не больше 8-10, как правило), но никто никогда не получил в точности все шестнадцать 16PF. Это в том числе касается моих ранних работ (совместных с В.И. Похилько и в рамках моей докторской диссертации, выполненной в 1980-е годы и начале 1990-х годов, защита прошла в январе 1994 года). На материале базы по проекту ТЕЗАЛ я приблизился к получению кроме «Большой пятерки» некоторых факторов из 16PF, но их было всего не больше 10 таких факторов (при нечетком соответствии даже внутри этой десятки – см. мою монографию Шмелев А.Г. Психодиагностика личностных черт – Спб: Речь, 2002, страницы 140-144). Пожалуй, к дополнительным пяти факторам можно было уверенно отнести такие факторы, полученные для базы данных ТЕЗАЛа:

7. Мечтательный, наивный (соответствует  М «Мечтательность» из 16PF).

8. Правдивый, совестливый (соответствует фактору G «Сила Сверх-Я»).

12. Веселый, экстраверт (соответствует одновременно A и F из 16PF).

13. Честолюбивый, самоуверенный (соответствует Е «Доминантность»)

14. Утонченный, женственный (соответствует I «Сензитивность»).

Следующим пяти факторам из 16РФ невозможно дать однозначное соответствие в факторной системе 16PF (напомним, что факторная шкала номер 16 в этой системе – это служебная шкала «Социальная желательность):

6) Боевитость, 9) Догматизм, 10) Демонстративность, 11) Увлеченность, 15) Оригинальность.

Являются ли эти 5 факторов спецификой «русскоязычной имплицитной теории личности» (то есть отражают культурно-историческую специфику житейской психологии в России) или все-таки это лишь определенный «артефакт» той схемы факторно-аналитического исследования, которое было предпринято нами на базе данных в проекте ТЕЗАЛ (это были все-таки вовсе не так называемые Q-данные опросника, а только лишь L-данные экспертных оценок в терминологии самого Р.Кэттелла)? – Данный вопрос по сей день так и остается открытым.

КЛАСТЕРНЫЙ АНАЛИЗ 187 ЗАДАНИЙ НА 100 000 ПРОТОКОЛАХ

Напомним то объяснение причин низкой воспроизводимости 16PF, к которому мне самому довелось прийти в ходе своего цикла исследованиях в рамках докторской диссертации (в 20 веке). Все дело как будто заключается в том, что Р.Кэттелл начал применять многофакторный анализ, используя алгоритмы Л.Терстоуна, фактически еще до всякого появления мощной вычислительной техники  – еще в 1940-1950-е годы 20 века (!). «На руках» можно было тогда применять лишь не вполне строгий алгоритм факторного анализа, предложенный Терстоуном, и получивший название «центроидный метод факторного анализа» ( о нем подробно написал в свое время целую книжку польский прикладной математик Ян Окунь, книга которого «Факторный анализ»  была переведена на русский язык и мной когда-то, еще в студенческие годы, зачитана «до дыр»).

Что дает нам центроидный метод? – Факторные оси в результате применения этого метода есть некоторые «вектора-центроиды», которые проходят в N-мерном пространстве через центры скопления векторов-переменных. В результате при анализе матрицы попарных корреляций между пунктами теста (между тестовыми заданиями) с высокими нагрузками вокруг таких «факторов-центроидов» скапливаются тестовые задания, которые фактически оказываются очень похожими на … «кластеры». То есть внутри плотной облачности скапливаются точки-задания (концы векторов, идущих из начала координат), которые имеют между собой не просто пространственную близость, нгосодержательное, а, следовательно, и статистическое сходство.

Вот отсюда еще в работе над монографией «Психодиагностика личностных черт» меня посетила идея подвергнуть матрицы интеркорреляций между всеми парами тестовых заданий КЛАСТЕРНОМУ АНАЛИЗУ – некоторому нестрогому фактическому аналогу «центроидному алгоритму факторного анализа» (результаты моего  кластерного анализа пунктов 16РФ и MMPI представлены в монографии 2002 года в отдельной главе на страницах 273-285).

Естественно, когда я получил 100 тысяч протоколов (примерно 8 тысяч из 108 были удалены как «скоростные прощелкивания»), то у меня зачесались руки выполнить кластерный анализ, просчитав с помощью SPSS попарные корреляции задания на таком большом массиве – 100 тысяч пар наблюдений. Гипотеза заключалась при этом в следующем: «А вдруг с помощью такого огромного массива данных мы точней сможем воспроизвести группировки заданий в виде всех шестнадцати факторов 16PF?».

Итак, мной был реализован самый расхожий алгоритм иерархического кластерного анализа HCS Джонсона (метод средних межгрупповых связей)  и получились следующие результаты.

На рисунке 1 приведен начальный фрагмент дендрограммы, иллюстрирующий задания, которые попали в самый многочисленных из плотных кластеров (понятно, что нет возможности в такой онлайн-статье приводить все огромное дерево результатов кластерного анализа).

Рис.1. Фрагмент дендрограммы, характерный для самого плотного и массового кластера (см. формулировки заданий под соответствующими номерами в таблице 2).

Таблица 2. Формулировка вопросов, соответствующих по номерам веткам приведенного на рис.1. фрагмента дендрограммы. Цветом в таблице 2 выделены номера и формулировки заданий, которые попали в более плотные подкластеры внутри этого общего большого кластера.

Если постараться проинтерпретировать весь кластер, показанный на рисунке 1 и в таблице 2, то это ничто иное как «Эмоциональная нестабильность». Но… внутри мы видим, как минимум, четыре подкластера:

1) Желтый цвет – социальная тревожность, или робость (одновременно низкие баллы по факторам -C и -H).

2) Зеленый цвет – скорее это «высокая ранимость» (фактор +O)

3) Салатовый цвет – собственно «Эмоциональная лабильность» (фактор -С, то есть сердцевина всего кластера)

4) Фиолетовый цвет – скорее высокая «Напряжённость» (фактор +Q4, хотя это наименее плотный подкластер и его интерпретация выглядит «натяжкой»).

В целом, я думаю, вы, дорогие читатели, согласитесь с тем, что результаты, судя по этому небольшому фрагменту огромной дендрограммы, получились вполне содержательными (я, честно говоря, больше и не ожидал от этой выборки испытуемых, хоть и огромной по размеру, но в малой степени мотивированной и ответственной за свои ответы). Убедительными аргументами в пользу позитивного вывода о качестве данных служит близость таких суждений опросника, которые оказываются очень и очень близки по смыслу. Например. самыми близкими суждениями (судя по дендрограмме) оказались следующие пары высказываний:

а) 35 и 61 – про страх застенчивого человека оказаться в центре внимания;
б) 43 и 74 – про страх перед критикой со стороны других людей;
в) 99 и 174 – про то, как раздражает буквально всё, даже мелочи.

Можно ли считать закономерным и даже естественным появление самого большого и плотного кластера именно по теме «Эмоциональная неустойчивость»? – Да, я считаю, что это закономерно. Именно испытуемые, переживающие определённый личностно-эмоциональный кризис, чаще других обращаются к самопознанию с помощью тестов в Интернете (это можно также назвать «самокопанием»), так что именно они очень плотно и согласованно отвечают на весь этот «родной букет»  весьма для них значимых и диагностичных заданий (информативных именно в их случае).

Надеюсь, что данные, приведённые в таблице 2, помогут вам лучше сориентироваться в том, как читать таблицу 3. Ведь дело в том, что первые 4 кластера, которые даются в таблице 2 один в один соответствуют тем «цветным подкластерам», которые приведены в таблице 2. Тем самым Вам должно быть понятно, что именно и почему попадают в другие кластеры в таблице 3 – следующие за первыми четырьмя.

Таблица 3. Результаты кластерного анализа всех 187 вопросов. В третьем столбце – число заданий, попавших в один кластер. Кластеры приведены в том порядке, в каком программе SPSS построила дендрограмму.

В таблице 2 во втором столбце даны названия факторов 16PF на основании ключевых связей вопросов, вошедших в кластер, и факторных шкал теста. Как видим, в 30 кластерах частенько встречаются суждения, которые относятся к полюсам сразу нескольких факторов 16PF.  Это значит, что сгущения вопросов-векторов в N-мерном пространстве часто лежали не на осях «факторов Кэттелла», а в определенных квадрантах, указывающих на комбинации факторов, которые на самом деле являются не ортогональными, а «косоугольными» — статистически-связанными друг с другом и родственными по смыслу.

Название фактора	№ кластеров / кол-во вопросов на низком полюсе	№ кластеров / кол-во вопросов на  высоком полюсе	Итого вопросов
A  Общительность	6/7   4/5	26/5   27/4   29/9	12+18= 30
B  Интеллект		11/10	0+10 = 10
C  Эмоцион. стабильность	3/8   5/2	23/8   28/6	10+14 = 24
E  Доминантность	19/4	10/6   29/6	4+12 = 16
F  Оптимизм	16/6	24/4   30/4	6+8 = 14
G Нормативность	9/10	15/5	10+5 = 15
H  Социальная смелость	1/5   16/6	9/10 24/4  29/9  30/4	11+ 27 = 38
I  Сензитивность	21/3	12/6	3+8 = 9
L  Подозрительность	20/2	8/3  10/2	2+5 = 7
M  Мечтательность	—	—	—
N  Тактичность	—	14/5   15/5   19/4  20/2	0+16 = 16
O  Ранимость	22/5	2/7	5+7 = 12
Q1 Радикализм	13/3	8/3   25/2	3+6 = 8
Q2 Независимость	25/5	6/4	5+4 = 9
Q3 Самоконтроль		18/7	0+7 = 7
Q4 Напряженность	19/4	4/3  5/2	4+5 = 9
СЖ Соц. желательность		17/7	0+7 = 7

Таблица 4. Распределение 30 кластеров по полюсам факторов 16PF.

Конечно, как и ожидалось, кластеры плоховато совпадают с полюсами факторов. Во многих случаях в один кластер попадали задания из родственных факторов (особенно тех, которые склеиваются во время вторичного факторного анализа в более крупные макрофакторы «Большая пятерка»).

Но все-таки лично для меня стало неожиданностью, что почти все полюса почти всех факторов оказались заполненными (!).  Я не ожидал от устаревшего опросника такого результата. Особенно это явно можно увидеть в таблице 4, которая была специально построена мной для того, чтобы подсчитать, как много заданий оказывается на полюсах того или иного фактора. Оказалось, что выпал из обоймы фактически только лишь один фактор М (все задания из этой факторной шкалы «разбежались» по чужим кластерам так, что ни в одном не оказалось даже одной пары из фактора М). Такая же судьба постигла низкий полюс фактора  N «Прямолинейность» (или низкая «Тактичность»).

Заметная тенденция, которую мы видим в таблице 4, выразилась в том, что первые шесть факторов (от А до H включительно, не считая особой шкалы B- по-своему служебной) сработали гораздо мощнее, чем остальные 10 факторов из 16PF, то есть эти факторы во многом притянули к себе задания из других факторов.

Но всё-таки для меня лично наиболее позитивный факт заключается в том, как близки по смыслу пары высказываний, которые я даю в последних столбцах таблицы 3. Эта таблица ярко иллюстрирует, что, несмотря на низкую ответственность анонимных испытуемых,  среди них преобладали люди, которые вполне  осмысленно  и правдиво отвечали на задания.  Приглядитесь к формулировкам в таблице 3 и Вы со мной согласитесь, я уверен.

ОБЩИЕ ВЫВОДЫ

1. С помощью кластерного анализа и последующей интерпретации выявленных кластеров, мной была проделана довольно-таки трудоемкая работа по анализу «внутренней содержательной валидности»  (content validity) тест-опросника 16PF(А).

2. Приятной неожиданностью следует считать ПОЛОЖИТЕЛЬНЫЙ РЕЗУЛЬТАТ: за небольшими исключениями кластерный анализ показал результаты, которые говорят о хорошей, вполне закономерной и  содержательной группировке вопросов этого тест-опросника. А это значит, что, обладая внутренней валидностью, этот опросник сообщает нам неслучайные и закономерные сведения о динамике тестовых норм (об изменении средних значений по факторам в течение 40 лет – см. выводы из предыдущей статьи).

3. Результаты кластерного анализа во многом совпали с результатами проведенного нами более традиционного корреляционного анализа (когда мы проверяли обоснованность ключей к заданиям через статистическую сопряженность ответов с попаданием  в крайние группы по величине тестового балла по соответствующей заданию шкале). Следует подчеркнуть, что кластерный анализ не учитывает какие-либо «ключи к тесту», то есть НЕ исходит из каких-либо гипотез о группировке заданий (вопросов тест-опросника) в определенные факторы (в отличие от корреляционного анализа), поэтому его результаты оказываются более строгими и требовательными к консистентности (внутренней согласованности) факторных шкал.

Тем не менее результаты двух видов проделанных анализов – корреляционного и кластерного —   дали нам во многом совпадающие  сведения о том, что плохие задания сконцентрированы главным образом в факторах L, M, N и Q1. Тем самым к результатам по этим факторам надо относиться с гораздо меньшим доверием в случае данной методики 16PF(A).  Иными словами, результаты кластерного анализа подтвердили, что надо работать над улучшением подборки вопросов по указанным факторам, что мы в какой-то мере и сделали, заменив 14 вопросов, имеющих слабую сопряженность со своими шкалами.

4. Научно-теоретическое значение, которое имеет проделанная работа, для автора этого блога заключается в следующем. Мы еще раз доказываем, что существует некое непрерывное и единое многомерное личностно-семантическое пространство, в котором СОСУЩЕСТВУЮТ факторы разных личностных методик. Да, факторы 16PF не являются ортогональными и не всегда проходят через самые густые скопления «эмпирических индикаторов» (тестовых вопросов или слов-дескрипторов нашего словаря личностных черт ТЕЗАЛ). Да, эти факторы резко различаются по своей мощности и диагностической ценности. Но это ВОЗМОЖНЫЕ и ДОПУСТИМЫЕ, а главное – реально существующие вектора в едином N-мерном пространстве, так что от любого вопроса, то есть из любого рядового вектора (или точки) в этом пространстве, до каждого фактора 16PF можно подсчитать угловое расстояние, а значит 16PF может по-прежнему служить в качестве определенного «ракурса во взгляде на личность», то есть определенным полезным категориальным-фильтром.

Этот ракурс (или фильтр) полезен тем, что многим психологам-практикам он хорошо известен и хорошо ими освоен. Они смотрят на разнообразие человеческих психотипов как бы из  «определенной позиции психолога-снайпера», который занял  определенную высоту и видит  немного-немало 16 разных  участков  единого семантического пространства – ну также, как реальный снайпер видит 16 ориентиров на местности, хотя при этом из его поля зрения могут выпадать еще  немало других ориентиров (других факторов). Но 16 ориентиров– это уже достаточно богатый и дифференцированный взгляд на людей (по сравнению с  тремя или четырьмя психотипами в самых-самых популистских примитивных концепциях).

Пояснение: желающие смогут плотней поработать с интерпретирующей факторно-категориальной системой 16PF  в нашем компьютерном словаре-интерпретаторе ТЕЗАЛ и увидеть, как эти 16 факторов позволяют предсказывать «потенциальные компетенции»…  Впрочем, разговор про компетентностный ТЕЗАЛ-4К – это предмет другой нашей  статьи — следующей и ближайшей статьи на блоге.

ПРИЗЫВ ВМЕСТО ЗАКЛЮЧЕНИЯ

Повторяем, что в сентябре этого 2026  года мы открыли модифицированную методику 16PF(A) для выполнения членами нашего и-клуба КИТТ (Клуба Испытателей Тестовых Технологий). Агитирую всех, кому нравится методика 16PF, поучаствовать лично в сборе нового нормативного массива данных. Этот массив поможет убедиться в том, что мы провели обоснованные замены определенных заданий в тех факторных шкалах этого опросника, которые сработали хуже других шкал – не показали внутренней согласованности и автономности от других факторов по содержанию заданий.

Повторяю еще раз адрес веб-сайта нашего клуба:
https://kitt-club.ru

Напоминаем, что участие во всех мероприятиях клуба является совершенно бесплатным  и в наших тест-конкурсах участники могут выступать не под своими ФИО, а под псевдонимами. В сентябре мы проводим на базе двух  тест-опросников 16PF(А) и16РФ(Б) тест-конкурс особого типа: призовой фонд (10 тысяч рублей) поделят между собой пять лучших участников – тех, кто дадут наиболее согласованные ответы и получат наиболее сходные профили по версиям А и Б (после получения новых тестовых норм первоначальные профили еще будут пересчитаны в сторону их уточнения – с учетом средних и стандартных отклонений, полученных именно и только в клубе КИТТ).

---

[1] Если кому-то покажется трудным для чтения этот текст, но интерес к теме все равно не ослабевает, то рекомендуем Вам записаться на нашу дистанционную психометрическую школу. Идет набор на очередной зимний цикл таких занятий. Ссылка: Дистанционная психометрическая школа (курсы) — ht-line

========================

Рисунок обложки автор нашел, как всегда, в доступной бесплатной галерее «Яндекс-картинки», куда он попал с сайта multioruk.ru