21 сентября 2015

Итак, 21 век делает актуальной темой обсуждение возможных подходов к интеграции дистанционных и очных оценок кандидатов в ходе профотбора. Нужно ли пояснять для участников нашего профессионального форума, что для прикладной психологии профотбор был всегда одним из центральных пунктов приложения усилий — усилий разработчиков психодиагностических методик (однокоренные слова я применяю в этой фразе, разумеется, с умыслом).

На нашем форуме опубликован проект «Стандарт тестирования персонала» (см. раздел Wiki), в котором вводятся и обсуждаются понятия «воронка отбора» и «интегральный рейтинг» (см. главу 7 «обработка результатов» и главу 9 «Обратная связь»).

Казалось бы, что такого значимого в этих «узко-технологических» вопросах для психологов? А ведь это определенная революционная смена парадигмальных установок! Почему? — Выдвигаю здесь следующий дерзкий тезис и постараюсь его обосновать:

Переход от неосознанного применения «воронки отбора» к осознанному применению «интегрального рейтинга» знаменует переход от разрозненных и хаотических, вынужденных схем деятельности к осознанному системному сочетанию качественного и количественного подходов.

Целые века в психологии качественный и количественный подходы не дружили между собой никак. Их привыкли друг другу противопоставлять, а не искать пути их системного объединения с целью компенсации недостатков и того, и другого.

Причем большинство психологов всегда ратовало именно за качественный подход, ибо только он один им казался «содержательным» и учитывающим человеческую индивидуальность, в то время как количественный подход — формальным и не учитывающим человеческую индивидуальность (все, что не укладывается в статистически предусмотренную массовую закономерность в самом деле нередко оказывается с точки зрения количественно-статистического подхода неким «артефактом процедуры»).

C появлением Интернет-форумов дискуссии сторонников качественных и количественных методов стали еще более острыми и приобрели характер «группового противостояния». На некоторых форумах (см. например, форум на портале hrm.ru) «качественники» стали называть себя «собственно психологами», а сторонников количественного подхода окрестили «экономистами».

Что же такое «воронка отбора»? — Это в самом своем грубом виде есть ничто иное, как поэтапный отбор-отсев без суммирования очков, накопленных на промежуточном, предварительном этапе. Таким образом, на каждом этапе круг кандидатов сужается, подобно тому как сужается «воронка». Например, все, кто прошел этап «конкурс резюме», приглашаются на собеседование, но никакие различия в качестве резюме на этапе «собеседования» уже не учитываются. То есть, баллы за предыдущий этап сбрасываются полностью. Представим себе вступительные экзамены в вуз, если бы они были построены по схеме «жесткой воронки отбора»: на каждом экзамене в этом случае работала бы жесткая бинарная схема выставления оценок по принципу «да-нет» (или «зачет-незачет») — на каждый следующий экзамен с равными правами допускаются все, кто не получил «двойку-неуд» на предыдущем этапе. И никаких различий между «отличниками», «хорошистами» и «троечниками»!

Почему же в практике отбора до сих пор такая жесткая схема превалирует? — Потому что ее исполнители просто-напросто НЕ ЗНАЮТ, каким образом, в каких единицах учитывать результат предыдущего этапа и как его можно учесть на последующих этапах. На каждом этапе работает бинарная качественная классификации на две дискретные категории «подходящий кандидат — неподходящий кандидат».

Есть ли в этой схеме какие-то достоинства? — Конечно, есть. Без них она бы не была так популярна. Во-первых, это экономия затрат. Если на каждом последующем этапе в дело вступают все более квалифицированные исполнители (все более дорогие эксперты, или руководители все более высокого ранга), то важно сократить к этому моменту число кандидатов настолько, насколько возможно, чтобы сэкономить затраты времени этих дорогих исполнителей оценки. Таким образом, скрытый «экономический смысл» в схеме воронки на самом деле присутствует. Несмотря на ее внешний чисто качественный, не количественный характер. Во-вторых, схема «воронка» не требует никаких сложных подсчетов и никакой работы по обоснованию правил начисления баллов. Вот в этом втором смысле «воронка» действительно является «анти-количественным» подходом.

Что такое «интегральный рейтинг»? — Это любой подход, когда все кандидаты, дошедшие до финала, получают те или иные баллы за все пройденные ими до этого этапы и на финише побеждает тот, которые наилучшим образом справляется не с самым последним испытанием, а оказывается лучшим многоборцем — по сумме всех пройденных испытаний. Можно ли назвать данный подход «более количественным»? — Конечно, не с абсолютной точностью так можно сказать, но по ряду важных признаков он является относительно более «количественным», чем «воронка отбора». — Хотя бы потому, что для «интегрального рейтинга» действует определенная система выставления баллов за этапы и их агрегирование на последующих этапах (в общем случае это не обязательно суммирование, это может быть и мультипликация). Обычно в схеме «интегральный рейтинг» констатируют такое достоинство как большая надежность в отношении «случайного срыва», которые может допустить самый сильный кандидат на самом последнем и самом ответственном финишном этапе. Побеждает в этом случае не тот, кто наилучшим образом прошел единственный финишный отрезок, а тот, кто ровно прошел всю длинную дистанцию, кто оказался наиболее разносторонним (ведь на разных этапах производятся разные испытания).

А вот теперь зададимся вопросом: Почему же «интегральный рейтинг» применяется в практике профотбора значительно реже, чем «воронка отбора»? — А прежде всего потому, что, как я уже сказал выше, организаторы НЕ ЗНАЮТ, как суммировать результаты на разных этапах. Тут добавим ключевое уточнение — на таких разнородных этапах, часть из которых для них выглядит «качественными», а другие — «количественными испытаниями». Возьмем «анализ резюме». Это, с точки зрения «эйчара-качественника» есть типичная процедура качественного анализа. Какой тут можно поставить балл и на какой шкале? В резюме присутствует так много разных признаков — начиная от языковой грамотности, с которой оно написано, завершая референтностью специалистов, указанных в разделе «рекомендации». Как это все можно формализовать, как измерить количественно? — Проще отсеять просто тех, у кого резюме «не по теме» (не указано ни адекватное образование, ни необходимый опыт работы по специальности, соответствующей вакансии). Вот и получается, что все, кто проходит через этап «анализ резюме» выходят на следующий этап с одинаковым результатом типа «зачет». Дальше наиболее «типовая воронка» предполагает «первичное собеседование». Тут опять же исполнитель-интервьюер имеет дело с таким многообразием разнородных признаков, что выставить по итогам какой-то балл оказывается весьма затруднительно. Все, кто прошел «первичное собеседование» приходят с одинаковым результатом «зачет плюс зачет», на следующий этап. Этот следующий этап может и не состояться вовсе, но если он имеет место, то нередко включает «краткие производственные тесты». Чтобы не путать с количественными тестами эти испытания называют «упражнения». В них моделируется какая-то производственная проблемная ситуация или задача («кейс»). Результат фиксируется по принципу «справился — не справился». Если упражнений несколько, то тут может возникнуть некая примитивная шкала в виде «сырого балла» по числу решенных задач. С этими баллами соискатель и попадает чаще всего на заключительное собеседование, на котором с ним беседуют, как правило, уже не эйчары, а его будущие руководители (а эйчар лишь ассистирует). Впрочем, иногда возникает еще один промежуточный этап — «психодиагностический тест». Очень часто такой «многофакторный психодиагностический тест» (какая-нибудь «Большая пятерка» или вариации на тему 16PF или MMPI) вообще никак не откалиброван относительно данной вакансии — никак количественно не скоррелирован с вероятной успешностью исполнителя в данной специальности. Почему? — А потому, что вакансий очень много, разнообразные условия в разных организациях, в которых представлена одна и та же вакансия, так отличаются одни от других, что количественные модели оказываются (это не кажется, это действительно так) слишком неточными. Поэтому «психодиагностический профиль», который получается в результате проведения психодиагностического теста, опять-таки порождает скорее информацию, требующую… качественной интерпретации, а формализованной количественной оценки так и нет.

Коллеги, если я неправильно описал здесь доминирующую практику применение схемы «многоэтапная воронка отбора», то поправьте меня. Мой опыт многолетних и многочисленных бесед с эйчарами говорит в пользу такого именно описания (было также и включенное наблюдение за этой работой, был анализ документов, анализ запросов).

Небольшое «спортивное отступление». Подходу «интегральный рейтинг» в игровых видах спорта больше соответствует схема состязания по принципу «круговой турнир», когда каждый играет с каждым, а победитель определяется по сумме очков за победы. В то же время подходу «воронка отбора» больше соответствует олимпийская схема «проигравший выбывает», или как сейчас чаще это называют «плей-офф». Понятно, чем хороша в профессиональном спорте «олимпийская схема» — тем, что интрига сохраняется и нарастает к самому последнему финальному матчу, что максимизирует зрительский спрос, доходы от рекламы и т.п. Вспомним, как устроены популярные ТВ-конкурсы типа «Голос» или «Фабрика звезд»? — На каждом этапе действует олимпийский принцип «проигравший выбывает», то есть применяется «жесткая воронка отбора». Возможно, что члены жюри (если они остаются одними и теми же!) на каждом новом этапе держут в голове какую-то поправку на то, как тот или иной участнике конкурса выступал на предыдущих этапах (удачные выступления формируют у них невольные симпатии, которые выражаются в гандикапе — дополнительных стартовых очках перед новым выступлением). Но… если члены жюри на каждом этапе меняются? А ведь что-то похожее у нас наблюдается в многоэтапных эйчар-конкурсах.

Так что же нам может дать на фоне этой устоявшейся практики подход, который мы назвали «интегральный рейтинг»? — Тут мне ответят скорее всего так (уже отвечали неоднократно): неплохо было бы иметь возможность получить рейтинг, он, конечно, облегчил бы выработку решения на последнем этапе, когда бывает очень трудно выбрать лучшего из лучших, но… нужна слишком большая работа по уточнению веса каждого этапа! — Как можно сравнить и складывать «килограммы» и «километры»? Все этапы выглядят такими различными! Схемы критериев оценки каждого этапа весьма быстро и радикально меняются от вакансии к вакансии. Это ведь Вам не «легкоатлетическое десятиборье», где набор испытаний не меняется десятилетиями, и правила начисления очков для каждого вида можно долго обосновывать…

Вот тут-то, видимо, как я теперь понимаю и кроется «гносеологический барьер» (ментальный барьер), который в 21 веке обязательно должен быть преодолен. Точнее, будем говорить так: все, кто НЕ сможет преодолеть этот барьер, скорее всего будут так проигрывать в качестве результата (в качестве отобранного персонала!), что бесконечно отстанут в гонке и сами собой исчезнут…

Речь идет о том, что «качественникам» так или иначе придется осознать, что их собственное мышление на самом деле носит «вероятностный характер», а значит все так называемые «качественные оценки» имеют «скрытую количественную природу». Как это можно осознать? — Это показали работы Лотфи Заде по «теории размытых множеств». Их для меня лично прекрасно дополнили работы нашего Василия Налимова. В своей монографии «Вероятностная модель языка» Василий Васильевич предложил очень простую и убедительную интерпретацию той самой переменной, которую Лотфи Заде назвал «функция принадлежности». В.В.Налимов проинтепретировал значения функции принадлежности как … «вероятность», то есть привычную всем величину от 0 до 1.

Итак, сформулируем один из главных тезисов этого моего сообщения:

В качественных оценочных суждениях мы неявно реализуем свои представления о вероятности желаемого события.

В случае профотбора этим «желаемым событием» является прием на работу кандидата, который будет успешным. Прямым доказательством указанного выше тезиса является использование в наших суждениях так называемых «нечетких квантификаторов» — словесных выражений, указывающих неполную (отличную от 100-процентов) вероятность желаемого события. Примеры:

а) Утверждение «Он явно соответствует» можно интерпретировать как присвоение вероятности желаемого события в интервале от 95 до 99 процентов (это показывают попытки перевода качественных суждений на язык количественной меры вероятности).
б) Менее обнадеживающим следует считать утверждение типа «Он почти соответствует» — это присвоение вероятности в интервале от 85 до 98.
в) Еще менее обнадеживающим является утверждение «Он скорее всего соответствует» — это присвоение вероятности в интервале от 75 до 90 (обратите внимание, что я намеренно привожу здесь перекрывающиеся интервалы)

и так далее и тому подобное.

Таким образом, оценивая резюме (и другую документированную информацию о кандидате) мы неявно формируем вероятностные суждения:

а) Если мы считаем резюме негодным, то наше неявное вероятностное утверждение выглядит так: «вероятность успеха данного кандидата меньше 50 процентов».
б) Если мы считаем резюме пригодным, то ставим ему «неявную троечку», что на вероятностном языке на самом деле означает присвоение вероятности в интервале от 50 до 66.6 (от половины до двух третей полной вероятности для идеального кандидата). Очевидно, что середина этого интервала (некий аналог матожидания) — это вероятность в размере 58.3 процента, но… чтобы не впадать в крайности «математической педантизма», достаточно оценить эту вероятность с точностью до десятка процентов. Так получается, что баллу «удовлетворительно» соответствует вероятность 60 процентов. Это обоснованная эвристическая вероятностная оценка.
в) Если мы считаем резюме «хорошим», то логика присвоения «вероятностного рейтинг-балла» в этом случае аналогичная: это интервал от 66.6 до 83.3 процента, с округленным матожиданием (до пяти процентов) в районе 75 процентов.
г) Если мы считаем резюме «отличным», то это интервал от 83,3 до 100 процентов с матожиданием в районе 90 процентов.

Точность с округлением до 5 процентов на данной шкале вполне достаточна с учетом величины разброса ( или ошибки измерения, или доверительного интервала) в такого рода приближенных суждениях.

Точно также вполне можно вероятностно взвесить впечатления интервьюера о кандидата по результатам собеседования. Причем лучше, если такую оценку будут давать не один человек, а две — тот, кто ведет беседу в силу своей вовлеченности может быть менее точным, его должен дополнять другой — невовлеченный хладнокровный наблюдатель. И вообще точность экспертных оценок вероятностей значительно выигрывает при увеличении числа экспертов. Главное условия — это должны быть эксперты, НЕЗАВИСИМЫЕ друг от друга в своих суждениях.

Переведя качественные экспертные оценки в баллы за определенные этапы, мы получаем возможность рассчитывать интегральный рейтинг для всех кандидатов, которые дошли до последнего этапа отбора. И при этом можно вполне суммировать результаты качественных и количественных испытаний.

Вы можете возразить, что данная схема подсчета «интегрального рейтинга» НЕ позволяет учесть разный вес различных процедур. Например, Вы считаете, что интервью является раза в три (!) более информативным, чем какой-то наспех состряпанный и не слишком репрезентативный по числу заданий квалификационный тест (тест на профессиональные знания и умения). Но… это вообще не возражение. Вам только кажется, что это возражение. Ведь дело в том, что как только Вы произнесли слова » в три раза информативнее», Вы опять-таки сформулировали свою неявную для Вас, но вполне количественную оценку значимости оценочной процедуры, которую можно перевести на единый язык вероятности. Давайте структурируем подобные суждения и зададимся вопросом, какой вес присвоить квалификационному тесту, если он вызывает доверие лишь на одну треть от той процедуры, которой мы склонны доверять больше других — от интервью (более всего мы склонны доверять процедуры, в которых лично участвуем, которые дают нам возможность очно наблюдать кандидата, дают возможность задавать ему прямые вопросы и т.п., хотя… статистические данные показывают, что это наше доверие очень редко оказывается оправданным, ибо мы ошибаемся в ходе такой оценки кандидатов даже чаще, чем это происходит по результатам анализа документов или по результатам объективированного испытания — тестирования).

Итак, допустим, что интервью мы считаем «почти идеальной» процедурой оценки. Мы ведь договорились, что слово «почти» — это что-то в районе 90 процентов. А это значит, что от самой низкой оценки по результатам интервью до самой высокой имеется интервал в 80 процентов: от 10 процентов (нижняя точка) до 90 процентов (верхняя точка). А как же оценить тогда вес тестовой процедуры, которую мы считаем, в 2-3 раза менее прогностичной (надежной в прогнозе успешности)? — Надо поделить примерно на 2.5 интервал приращения к «фифти-фифти» — к точке случайного угадывания. Тогда получаем 50+(90-50 )/2.5, что приближенно равно 65. Ну вот, значит, самому низкому баллу по тесту будет соответствовать точка 35 (на 15 процентов ниже случайного угадывания), а самому высокому — точка в районе 65. Теперь мы получили баллы за различные процедуры (и качественные, и количественные) на единой шкале вероятности и достаточно применить определенные формулы агрегирования этих вероятностей и … получим интегральный рейтинг. Какие это формулы? — Ну давайте не будем вдаваться в математическую модель слишком сильно… Ведь нам нужно оперировать не интервальными, а фактически порядковыми (непараметрическими) шкалами. Выбор лучшего кандидата — это выбор того, кто оказывается лидером на порядковой шкале, то есть стоит относительно всех остальных просто выше. Будет ли при этом его балл в точности равен 90 или 89 — это не имеет никакого значения для принятия решения. Главное нам понять, что и качественные, и количественные оценочные процедуры вносят определенный количественный вклад в интегральный ранг кандидата, но в терминах «вероятностных коэффициентов». Все остальные — это тонкие различия в математических подходах. Кто-то применяет регрессионную модель и оперирует регрессионными весами (оценивающими значимость различных этапов отбора), кто-то может рассуждать в терминах факторных нагрузок. Главное для меня не эти «детали формализации», а главное в том, что под всеми этими моделями находится определенная система допущений о вероятностной природе наших качественных суждений. Все эти коэффициенты так или иначе оценивают вероятности. А значит мы можем агрегировать (объединять) разнотипные процедуры.

На практике самым простым и понятным для экспертов-качественников методом оценивания значимости процедур является «распределение 100-процентной массы вероятности». Это очень нестрогая, очень уязвимая с точки зрения математики модель, но… зато понятная и прозрачная. Эксперту дается масса весом в размере 100 (процентов или очков — неважно). И ее нужно распределить между, например, двумя, тремя или больше этапами отбора. Представление о равных весах двух этапов нам дает оценки 50 и 50. А если второй этап (интервью) в 1.5 раза важнее, то распределение оказывается таким — 40 и 60. Если на первом этапе мы применили дистанционный квалификационный тест, то его минимальный балл на шкале «весовых вкладов» (или на шкале «рейтинг-баллов») будет равен 0, а максимальный — 40. Если на втором этапе было интервью с участием двух экспертов, то минимальная оценка экспертов будет равна нулю, а максимальная — 60 очкам (в пересчете на шкалу «весовых вкладов»). Точно такая же логика применяется, когда этапов оказывается не 2, а 3 или 4. При четырех этапах модель равных вкладов присваивает каждому этапу вес, равный 25. От этого и «будем танцевать», как говорится. Для этапов менее значимых вес будет меньше 25 (например, 15 или 10), а для этапов более значимых — вес будет больше 25 (например, 30 или 40). Вот этот подход делает подсчет «интегрального рейтинга» максимально простым и прозрачным для всех участников процесса — даже тех, кто остановился в своем математическом образовании на уровне начальной школы!

Почему различение «воронки» и «рейтинга» мне кажется особенно актуальным в наше время? — Потому что теперь во многих организациях широко внедряется новая модель отбора, когда еще до визита в офис в дистанционном режиме кандидат выполняет дистанционные тесты и кто-то отсеивается, но те, кто приходят в офис не должны потерять свои тестовые баллы и эти баллы каким-то образом должны быть интегрированы с оценками на собеседовании. Мы как раз разработали автоматизированную систему расчета интегрального-рейтинга — «Мастер-пакет HT-LINE», но это тема даже не другого какого-то сообщения, а, наверное, отдельного вебинара с показом «экранчиков». Кто-то может тут же заявить, что подсчет рейтинга с весовыми коэффициентами на различных его компонентах можно легко реализовать в Эксель. В ответ на это я бы хотел посмотреть на того эйчара, который сможет в Эксель быстро составить подобные формулы (ну хотя бы ту, которую я привел для «взвешенного рейтинга» на странице 111 в книге «Практическая тестология»). Не говоря о том, что Эксель, разумеется, не позволяет провести соответствующие автоматизированные процедуры сбора данных. Читатели даже не подают никаких признаков использования готовых Эксель-таблиц, которые я в большом количестве опубликовал в электронном приложении к книге «Практическая тестология»… Увы, нужны «костыли», а главное — это ментальные костыли.

…Вижу, что к моменту завершения моего заглавного сообщения уже появились определенные содержательные комментарии (в частности, комментарий уважаемого Константина Сугоняева). Но смогу ответить на эти комментарии позже….

Ваш АШ