Итак, уважаемые коллеги, 22 участника выполнили методику «свободной классификации» 20 форм правления. Это не такая малочисленная выборка респондентов, если учитывать, что данная методика не самая легкая для выполнения. Задачка осложняется тем, что исходный материал в данном случае оказался очень разнородным (как говорится, концептуально гетерогенным). Одни термины пришли из области политологии (например, диктатура, плутократия, клептократия, корпоратократия), а другие термины — из исторической науки о так называемых общественно-исторических формациях (родоплеменной строй, феодализм, капитализм, социализм и т.п.). Мы, например, хорошо знаем, что монархическими могут оказаться не только страны, находящиеся на стадии феодализма, но и современные развитые капиталистические страны (как это имеет место на севере современной Европы). Тем не менее, это даже добавляет интриги в наш эксперимент!

Тем интересней было проверить, сможем ли мы построить на таком «рыхлом материале» какую-то осмысленную древовидную модель — иерархию устойчивых кластеров. Ведь если, например, применять эту методику к большинству психологических понятий (будь-то виды эмоций, типы темпераментов, виды памяти и т.п.), то материал будет таким же рыхлым. А мы ведь планируем в перспективе решить именно эту задачу — реконструировать интегративную психологическую теорию методами инженерии знаний (см. подборку моих статей на блоге именно под этой новой рубрикой в рубрикаторе).

Итак, что же мы получили? Начну сразу же с основного результата — дендрограммы на основе ответов всех 22 участников (всей выборки без отбрасывания слабых экспертов).

Справка для знатоков анализа данных. Кластерный анализ был реализован в рамках нашего сервис-модуля ШКАЛИРОВАНИЕ, встроенного в систему Ht-Line (программист — Н.Н. Страхов, годы жизни — 1948 — 2020). Под алгоритм иерархической кластеризации в данном случае был подведен прямоугольный массив «110 строк на 20 объектов-столбцов», где 110 строк — это результат умножения 22 экспертов на 5 кластеров, созданных каждым экспертом и закодированных в виде двоичного протокола (читайте предыдущую статью по этой методике свободной классификации). Значения в клетках прямоугольного массива подвергались стандартизации с помощью Z-оценок, метрика сходства-расстояния — Пирсон. Использовался самый популярный агломеративный алгоритм Джонсона с использованием пересчета на основе среднего расстояния между новыми классами. Устойчивость полученной модели я проверил параллельно с использованием аналогичного алгоритма в пакете SPSS.

Рисунок 1. Результаты кластерного анализа 20 «форм правления» по ответам 22 респондентов (программ-обработчик — встроенный модуль в сервис «Шкалирование» системы Ht-Line 2.0)

А на рисунке 2 посмотрите, как выглядит дендрограмма, построенная в SPSS с помощью аналогичных параметров настройки процедуры кластерного анализа. Конечно, это именно более привычное и наглядное дерево, чем то, что применил у нас Николай Страхов (у него это псевдогеографическая карта с цветными плато разного уровня высоты, на которых размещаются сходные объекты). Но… хотелось бы обратить внимание, что именно внутри нашего сервиса ШКАЛИРОВАНИЕ объекты чудесным образом разместились в таком порядке, который до какой-то степени совпадает с… процессом исторической преемственности общественных формаций и форм правления. Все начинается с анархической (почти биологической) конкуренции племён (читай — биологических групп индивидов вроде стай или стад), а завершается как бы такими высшими формами сознательного человеческого общежития, какими являются социализм и коммунизм. Конечно, я понимаю, что это произошло в данном случае совершенно случайно. Ведь всякое дерево содержит свободу прикрепления ветвей выше и ниже (в случае горизонтального расположения дендрограммы). Но в самом деле получилось довольно-таки эффектно…

Между прочим, если бы объекты «Анархия» и «Родоплеменной_строй» на рисунке 2 разместились в нижней части дендрограммы, то 2 модели оказались бы совершенно идентичными (с оговоркой, что во втором случае кластеры перечисляются в обратном порядке — снизу вверх).

Рисунок 2. Дендрограмма, полученная в SPSS на основе того же самого прямоугольного массива 110 на 20, что и диаграмма на рисунке 1.

Является ли полученная нами модель «концептуального дерева» устойчивой? Я решил применить для ответа на этот вопрос хорошо известный прием — разбиение выборки пополам. В данном случае я построил 2 дерева с помощью одного и того же алгоритма, когда получил первую десятку ответов и когда получил вторую десятку (еще 2 участника дали свои ответы уже после того, как эта работа была мной завершена). Увы, получилось не слишком сильное сходство результатов. Поэтому я попробовал нащупать более высокую близость с помощью более строгого критерия при пересчете межклассовых расстояний — с помощью метода «дальнего соседа».

Рисунок 3. Дендрограмма на основе ответов первых 10 экспертов (под номерами 1-10).

Рисунок 4. Дендрограмма на основе ответов экспертов под номерами 11-20 (вторая десятка).

Легко видеть невооруженным глазом, что дендрограмма в первой десятке оказалась больше похожей на итоговую общегрупповую, чем диаграмма во второй десятке. Чтобы выяснить причины, я попробовал понять, а кто вошел в состав второй десятки и чем их ответы отличаются от ответов тех, кто оказался в первой десятке. Ведь в самом деле разбиение выборок я произвел не вполне случайным образом: первая десятка — это те, кто более регулярно следит за моим блогом, а также кому ближе поставленная задача (по кругу интересов ближе история и политология). А вот во вторую десятку вошли люди, которые не так регулярно читают «блог Шмелева», а также такие, которые не слишком глубоко интересуются историей и политологией (некоторых из этой второй десятки мне пришлось даже уговаривать принять участие, так как не хватало в конце эксперимента буквально трех протоколов «для ровного счета» — до 20 в полной выборке).

Подтвердить это предположение помогли следующие аналитические возможности, встроенные в наш модуль ШКАЛИРОВАНИЕ (встроенные туда еще программистами-разработчиками Дмитрием Ильиных, работавшим у нас в нулевые годы, и Николаем Страховым, работавшим с этим сервисом в десятые годы).

На рисунке-скриншоте 5 Вы можете увидеть, как размещается эксперты в рейтинг-списке по убыванию согласованности:

Рисунок-скриншот 5. Эксперты-респонденты по убыванию согласованности их ответов с «усредненной матрицей ответов» (матрицей, полученной по всей выборке участников).

Как видим, далеко не все эксперты превзошли значимый порог 0,6 (по нашему опыту это робастный параметр, то есть независимый от количества шкал и объектов шкалирования). Семь человек из 22 показали низкие результаты, и большинство из них оказались как раз во второй десятке.

ВАЖНАЯ ОГОВОРКА: хотя данный рейтинг-лист — это неплохая форма персональной обратной связи для 22 участников эксперимента, но я прошу каждого участника с осторожностью отнестись к этим весьма приближенным результатам. Дело в том, что наша методика «свободной классификации» никак не ограничивала экспертов в том, какие основания классификации выбирать первыми, какие — вторыми и так далее. Кто-то из нижней части рейтинга мог на самом деле дать очень похожую классификацию, но более значимые критерии назвать не первыми, а последними в серии из 5 предоставленных попыток. Надо будет осмыслить этот определенный «методический недостаток» данного эксперимента (невозможность дать точную обратную связь экспертам), чтобы не повторять в аналогичных последующих исследованиях (экспериментах по «извлечению экспертного знания»). Тем не менее, несмотря на указанный недостаток, мы получили 15 участников с весьма высокими показателями согласованности, которые в самом деле позволяют говорить об устойчивости полученной модели концептуального дерева.

А МОЖНО ЛИ УВИДЕТЬ УСТОЙЧИВЫЕ КЛАСТЕРЫ НА ПЛОСКОЙ КАРТЕ?

Следующим шагом в нашем анализе результатов оказался поиск ответа на вопрос, аналогичный тому, который мы поставили в нашем исследовании «архаической модели темпераментов на основе психотипов» (см. сентябрьские публикации на блоге Шмелева). Речь идет о попытке спроецировать кластеры в пространство главных факторов, так чтобы увидеть кластеры вместе с основными основаниями классификации (факторами).

Конечно, Вы можете сами увидеть по построенным дендрограммам, какие именно кластеры устойчиво повторяются буквально на каждой модели (независимо от избранной подвыборки или метода анализа). Это, например, «социализм и коммунизм», «плутократия и клептократия», «тоталитаризм и военная диктатура», «монархия и феодализм», а также ряд других, как правило, довольно мелких (в них не больше двух-трех объектов). Таким образом, устойчивость достигается на высоком уровне сходства (то есть для мелких веточек дерева), а вот уже на средних уровнях мы видим проявления вариативности полученных деревьев (неустойчивость). Есть целый ряд «блуждающих терминов», которые дрейфуют от одного кластера к другому на разных диаграммах.

Чтобы это нам получше разглядеть я выполнил факторный анализ для 14 самых согласованных экспертов (в этот состав не вошел респондент «Анна А», предоставивший свои результаты буквально за пару часов до подготовки этой статьи). На рисунке 6 Вы видите карту двух первых главных компонент, в которой я постарался кругами обозначить устойчивые кластеры (независимые от методов анализа на данной выборке из 14 человек).

Рисунок-скриншот 6. Кластеры на карте первых двух главных компонент, полученных на ответах 14 более согласованных экспертов.

Мы видим, что карта 6 дает нам примерно 6 достаточно ясных по содержанию и непересекающихся кластеров, которые подвергаются достаточно легкой интерпретации. Надо сказать. что на этой выборке общее число значимых главных компонент (факторов) оказался равным 7, то есть это число даже превышает количество попыток, имевшихся в распоряжении у одного респондента (при анализе индивидуальной матрицы мы не могли бы получить чисто технически более 5 разных факторов, или точек сгущения — кластеров). Также подчеркнем такую важную деталь: на этой карте мы увидели лишь три «блуждающих и одиноких» термина: бюрократия, аристократия и колониализм. Если вдуматься, то это неслучайный результат. Ведь колонии были, как мы помним, еще у Древнего Рима, где имело место историческая формация, предшествовавшая не только капитализму, но и феодализму (а именно «рабовладельческая аристократия», как и в Древней Греции). Разумеется, что и власть бюрократии не особенно связана с тем, какая формация производственных отношений и какая система высшей политической власти установилась в стране. Поэтому одни испытуемые сближают бюрократию с аристократией, другие — с капитализмом, третьи — с социализмом и коммунизмом. Хотя… в целом рисунок 6 делает для нас понятным главное: сам исходный список «входных понятий» имеет серьезные концептуальные дефекты, которые и предопределили отсутствие стройной и устойчивой концептуальной модели на выходе нашего эксперимента. Тем не менее, кому-то именно рисунок 6 поможет «охватить одним взглядом» наиболее важные и устойчивые смысловые тенденции, которые помог выявить наш эксперимент. Мы видим, что самые важные основания классификации связаны с такими факторами, которые во многом, в определенный исторический период буквально оказались лозунгами на знаменах социальных революций. Это ценностные понятия Равенства и Свободы (вспомним, лозунги Великой французской революции).

Рисунок-скриншот 7. Кластеры на карте первых двух главных компонент, полученных на ответах испытуемых из второй десятки.

Ну а теперь рассмотрим, что же получилось в ответах второй десятке экспертов, приступивших к эксперименту с определенным опозданием (а некоторые и не совсем добровольно, а под давлением моей личной просьбы). Мы видим на этой карте существенные отличие от предыдущей. Во-первых, тут гораздо меньше кластеров, хотя они являются более многочисленными. Произошла очевидная склейка таких все-таки разных кластеров (если судить по карте на рисунке 6), как «коммунизм» и «тоталитаризм» (назовем эти кластеры по терминам, являющимися наиболее яркими их представителями). Обратите внимание, что на предыдущей карте эти кластеры лежали на противоположных полюсах горизонтальной факторной оси, а теперь «тоталитаризм» сдрейфовал к левому полюсу и прикрепился к «коммунизму». Получается, что главным фактором (а он всегда размещается по горизонтали) для данной группы оказалось не «Равенство», а именно «Свобода», которую данные эксперты отрицают о таких общественно-исторических формаций как «коммунизм» и «социализм».

У меня возникло предположение о том, что во второй десятке наших участников наблюдается меньше независимых факторов и тем самым им в большей степени можно приписывать «когнитивную простоту» (упрощенность категориальной сетки). В самом деле, так и оказалось: алгоритм анализа главных компонент позволил выявить на этой подвыборке только 4 фактора (вместо 7 независимых факторов в той группе из 14 человек, кто оказался наиболее согласованными между собой). Также обращает на себя внимание и такой факт, что во второй десятке на карте 7 мы видим больше «блуждающих и одиночных терминов», попавших в центр карты: их оказалось уже не 3, а целых 6 штук (так меритократия, непонятная для этих респондентов, оказалась где-то недалеко от «анархии» и «родоплеменного строя»).

ВЫВОДЫ

Выполненный нами эксперимент позволяет, как мне кажется, сделать следующие полезные выводы насчет самой методологии подобных исследований:

1. Для реконструкции стройной концептуальной древовидной модели на рыхлом (гуманитарном) материале и с помощью «свободной экспертной классификации» требуются значительные выборки — численностью никак не меньше 20 человек.
   
2. Необходимо отсеивать ответы респондентов, которые дали низкую согласованность результатов с основной группой участников.
   
3. Работа требует не одного (как в нашем эксперименте), а двух ПОЛНЫХ ЦИКЛОВ в сборе и анализа результатов: после анализа результатов первого цикла, нужно усовершенствовать входной список терминов, чтобы исключить из него (или уточнить) дрейфующие понятия. Также может проявиться необходимость добавить на втором этапе новые недостающие понятия (не понятно, почему автор статьи не назвал, например, «рабовладельческий строй», а также еще менее понятно, почему я сразу же не исправил эту ошибку).

Как видите, в этих выводах мы видим достаточно самокритики, да? Но все-таки я должен поделиться с Вами в заключение весьма оптимистическим взглядом на полученную модель (пока лишь предварительную). Я, честно говоря, ожидал худших результатов. Все-таки нам удалось с привлечением фактически одних только психологов (без историков и политологов фактически) получить вполне осмысленные результаты, которые можно, конечно, совершенствовать, но уже видно, что это не есть бесполезная трата времени, а может дать ценный результат. Хотя бы для культуры и образования, если не для самой науки.

Позволю себе еще раз повторить, что детали проведения этой методики и технику построения дендрограмм мы планируем более детально преподнести участникам нашей зимней психометрической школы (см. программу на сайте www.ht-line.ru).

ПРОСЬБА

А просьба у меня к Вам, дорогие читатели, будет такой. Пожалуйста, напишите в комментарии к этой статье, оказался ли полезным проделанный нами эксперимент? — Помог ли он лучше понять, основные методические идеи, цели и задачи этой работы — по построению концептуального дерева с помощью извлечения экспертных знаний?

В качестве иллюстрации на обложке данной статьи используется коллаж, пришедшей в галерею Яндекс-картинка с сайта pikabu.ru