Эта статья — это стон, которые плавно переход в организационно-методические рекомендации. Впрочем, может быть, и не плавно 🙁
Стон раздался на площадке форума ЭСПП в июне 2021 года.

====================

Коллеги, я сегодня под очередным грустным впечатлением.
Меня огорчает, как беспечно и поверхностно люди стали
мыслить — не понимают совершенно, что такое массовое
тестирование в эпоху Интернет-технологий.

В чем вижу проблему? — Кажущаяся простота и доступность
расслабляет мозги и организационные проблемы не то, что
не решаются, а просто даже НЕ ставятся — с необходимой
остротой и корректностью.

Ну смешно говорить, понимаете, про психометрическую надежность и валидность
тестов, когда допускаются такие СТРАШНЫЕ ОРГАНИЗАЦИОННЫЕ
ЛЯПЫ, которые с тестов сдирают «всю кожу» — не какие-то там
сотые и десятые от надежности и валидности, а сразу все доводят
до… НУЛЯ (!).

В наше время любой начальник, который научился в своей жизни
открывать крышку ноутбука и слегка «навигировать» по сайтам
с помощью мышки, думает о себе, что ОН — ВЕЛИКИЙ ПОЛЬЗОВАТЕЛЬ
и умеет планировать массовое тестирование.

Значение многолетнего профессионального опыта по решению
организационных проблем теперь обесценивается со страшной
силой. Когда я пытаюсь объяснить, что есть определенные заповеди
и тонкости, в которые надо немножко вникать, то получается,
что ничего не получается… — а именно: на то, чтобы
в них вникнуть, НЕТ ВРЕМЕНИ (!). Как-будто требуется время
еще на что-то иное более важное!? — На что?! — На обмен формальными
бумажками между «инстанциями»? — Даже и не на это (бумажки
пересылаются низкого качества, их пишут стандартные юристы,
которые тоже пытаются ни в что не вникать по содержанию вопроса).
Время требуется, как я вижу, на такое ВАЖНЕЙШЕЕ ДЕЛО как ТЕШИТЬ НАЧАЛЬСТВО
в его амбициях. Начальник-самодур брякнул «даешь сто тысяч участников»!
Ну и как же тогда отказать ему и сказать. что это будет профанация?
Как же отважится и возразить, что методики и технологические платформы
НЕ готовы для такой массовости? — Нет, в ответ слышится бодрый рапорт
«Есть сто тысяч!». — Вот благодаря этой «тупой исполнительности» мы и
живем все так, как живем. — Нарываемся на массовую халтуру, а потом
кудахчем «вах-вах-вах», мол, как все «в этой стране» плохо продумано. А это
мы сами прежде всего устраиваем из нормальной работы «узкоколейку»
и не отдаем себе при этом отчет, что все остальные делают примерно тоже
самое…

… продолжение следует…

Итак, несколько принципов, которые я считаю Важными зафиксировать
(еще помру завтра, так никто их и не сформулирует отчетливо в письменном
виде; ведь знатоки, которых в стране на пальцах одной руки, пытаются
это сокровенное знание хранить в устной своей памяти как … «вересковый
мед»).

1) Массовое тестирование НЕ может состоять из одного сеанса — так чтобы
все зашли на полчаса (ну на часок) один раз на сайт с тестом (с батареей
тестов) и все на этом закончилось. Почему? — Потому что надо планировать,
как минимум, три захода на этот сайт, причем два повторных — персонализированные
входы (авторизация) по параметрам «логин-пароль» или эквивалентной
персонализированной технологии (по уникальным гиперссылкам в почте).

2) Три посещения сайта тестирования включают:

А) Регистрация и тут же — выполнение демоверсии.
Без демоверсии будет слишком много протестов, что тест и по форме
проведения (по интерфейсу) и по содержанию оказался слишком…
неожиданным. Иногда полезно этот же подготовительный сеанс
совместить с самозаписью на «боевой сеанс по расписанию».

Б) Боевой сеанс (основное тестирование) — это зачетная попытка.
Чтобы Ваш сервер не пострадал от неожиданного пика нагрузки
по числу запросов (обычно все норовят проходить тестирование в
одно и то же время), лучше разослать в разные подразделения
(в разные регионы и т.п.) разные гиперссылки, которые активны
в разные сеансы. Так Вы гарантированно снизите пиковую нагрузку.

В) Третий вход — для просмотра окончательных результатов. Ведь
место в конкурсе конкурсант НЕ может узнать, пока все участники
не пройдут тест. Поэтому немедленно в ходе одного сеанса сообщить
это место нельзя.

Иногда надо планировать еще 4-й вход — в резервный день,
но я пока это опускаю для простоты изложения.

2. Многократный вход требует создания УЧЕТНОЙ ЗАПИСИ в базе данных и
эта учетная запись НЕ может состоять только из ФИО (!). Почему?
— Не только потому, что среди 1000 (одной тысячи) участников я Вам гарантирую
несколько пар «тройных тезок» (с одинаковыми не только именами
и фамилиями, но и с одинаковыми отчествами). А еще и потому,
что ФИО не гарантирует конфиденциальности — ограничения
доступа к тем персональным данным, какими оказываются результаты
тестирования данного участника.

Учетная запись базируется на следующих уникальных параметрах,
которые обеспечивают идентификацию и защиту данных пользователя:

а) Логин (в его роли может часто выступать мейл — хорошее совмещение),
б) Пароль (его можно в ряде случаев совместить с айдишником).
в) ИД-номер (айдишник на сленге айтишников).

ВНИМАНИЮ ГОРЕ-ОРГАНИЗАТОРОВ:

Вы НЕ можете обойтись без хотя бы одного из указанных выше
трех параметров в ходе саморегистрации. Запомните это, черт
возьми! Если Вы видите интранет-системы, которые будто
бы это не делают, то это лишь Иллюзия восприятия: это
возможно потому, что Интранет-система (внутрикорпоративная,
а не надкорпоративная, как Интернет) уже работает с готовой
базой сотрудников организации, и у всех сотрудников в этой
базе уже есть свои айдишники.

ОГОВОРКА: наша уникальная система HT-LINE, которая уникальна
именно потому, что мы ее 17 лет приспосабливаем к запросам
горе-заказчиков, позволяет обойтись без двух из трех указанных
параметров в ходе саморегистрации (!!). — Вдумайтесь — без двух
из трех (!). Например, мы можем автоматически
сгенерировать (система HT-LINE может) для каждого пользователя
пароль (он будет тихо-незаметно встроен в персональную
гиперссылку в зашифрованном виде). Мы автоматически
присваиваем ИД-номера (личные номера, айдишники). Но
мы, как правило, настаиваем, чтобы был хотя бы мейл реальный
ИЗВЕСТЕН (!). Хотя бы временно. Обязуемся по договору
все мейлы удалить из нашей базы после тестирования. Объясняем,
что для каждого корпоративного Заказчика у нас отдельная
база заводится… Что никаких рассылок по этим мейлам не будет…

3. БЕЗОПАСНОСТЬ — НЕ САМОЦЕЛЬ.

Наши горе-заказчики обращаются в свой отдел безопасности.
И… безопасники (которым самим «на фиг ничего не нужно»,
кроме безопасности, то есть им удобней отменить все эти
массовые тестирования) заявляют: «Мейлы давать НЕЛЬЗЯ».

Тогда приехали… Но… не сдались. Тогда давайте без мейлов
будем при саморегистрации просить Ваших замечательных
сотрудников (кандидатов, конкурсантов) просить записывать
себе хотя бы сгенерированные нами АЙДИШНИКИ. Ведь без
какого-либо из трех параметров авторизации нельзя будет даже
зайти второй раз в «ту же самую реку» — на ту же персональную
страницу (в личный кабинет участника).

— Ну нет, ну что Вы, что ВЫ! — разве смогут наши сотрудники
упомнить ваши 9-значные айдишники?! — возражают Великие
Организаторы массового тестирования. — А записывать они
уже давно у нас … отвыкли. В блокнот записывать на компьютере?
— Да никто это не делает!

4. МОЖЕМ РАБОТАТЬ БЕЗ РЕГИСТРАЦИИ! — заявляем мы.
Не надо ничего запоминать и записывать во время первого входа
вашим участникам САМИМ, не надо рассекречивать Ваши секретные
мейлы Ваших сотрудников, не надо никаких цифровых кодов-айдишников даже!
Тогда у нас есть ТАКОЕ РЕШЕНИЕ, которое нет ни у кого из разработчиков
нормальных систем (ни в одной социальной сети Вы такого не найдете).
Есть такое у нас решение: вход по ФИО под наблюдением организатора
в компьютерном классе. Мы его уже много лет обкатали в условиях
экзаменов в вузах и школах.

НО… Для реализации этого решения надо лишь передать нам еще ДО открытия
демоверсии — все списки ФИО по подразделениям (можете либо фамилию,
либо отчество передавать не полностью, а только первую букву)
а также адреса организаторов по подразделениям. В системе образования региона
эти подразделения — это разные школы, а в школах организаторы — это руководители
компьютерных классов — те же преподы информатики и т.п.). Подразделения
в большой фирме это не только отделы, но и региональные представительства.
Организаторы должны во время доступа к демоверсии (отдельный сеанс), а затем
в ходе основного сеанса ДЕЖУРИТЬ в компьютерном классе и контролировать
доступ к ФИО по служебному удостоверению каждого тестируемого: подходит
участник (тестируемый) к экрану и видит список ФИО, выбирает свою и
кликает, а дежурный убеждается, что он вошел правильно. Разведение
при этом «тройных тезок» ложится на дежурного: именно он должен
в своем подразделении проставить номера после фамилий,
так что получаются записи типа «Иванов-2 Петр Сидорович».

4. НЕТ У НАС ТАКИХ ДЕЖУРНЫХ И НЕТ КОМПЬЮТЕРНЫХ КЛАССОВ —
заявляет горе-заказчик 

((

(Еще круче звучит такой вариант ответа: «А мы не доверяем
своим организаторам на местах, они будут подыгрывать своим
сотрудникам!»).

… и вот тут, друзья, мне лично приходится признать, что медицина уже бессильна:

а) нельзя использовать мейлы,
б) нет мотивации записывать 9-значные цифровые айдишники,
в) нет организаторов, которые раздадут участникам сгенерированные
нами айдишники,
г) нет организаторов, которые обеспечат вход под своим контролем
в каком-то компьютерном классе.

НО кое-что есть! А именно — есть желание НАЧАЛЬНИКА провести
массовое тестирование 

)))

Так с чего надо начинать в таком случае?

ОТВЕТ МНЕ ЯСЕН как день: только с просвещения Начальника.

Почему это трудный путь для заказчиков? — Потому что низовые
исполнители бояться перед Начальником показаться… некомпетентными.

Ваш АШ

P.S.

Прошу при чтении этих организационно-методических рекомендаций
не путать тесты и опросники (увы, и это у нас часто путают). Опросники
— это когда нет никакой оценочной шкалы и люди НЕ выстраиваются
в рейтинг-лист по оценочной шкале. Ну в этом случае, пожалуй, можно
обойтись без трех входов. Хотя в этом случае появляется риск анархии
и потери идентичности в каких-то протоколах.

… ПРОДОЛЖЕНИЕ РАЗГОВОРА НА ФОРУМЕ ЭСПП:

Мне тут знатоки возразят таким образом:

«Но ведь существует «бесшовная интеграция» через API?
Разве у Вас HT-LINE не работает через API?
Ведь в этом случае айдишники автоматически
передаются из корпоративной сети заказчика через API
в Вашу систему?»

Друзья, поверьте, что нам уже приходилось реализовывать
подобную схему взаимодействия более, чем 10 раз в нашей
уже длительной истории (с 2004 года, когда была создана
HT-LINE-1.0 и началась эра онлайн-тестирования). ЭТо я только
организации-партнеры считаю, а по проектам — более 30 раз,
наверное (не пересчитал еще).

Вы понимаете сколько стоит эта схема? — ЭТо привлечение
с двух сторон самых квалифицированных исполнителей —
и со стороны организации-исполнителя и со стороны организации-заказчика
(айтишников — программистов и администраторов баз данных).
С каждой стороны потребуется не менее 5 дней (пяти дней)
работы как минимум одного специалиста. Дело не в сроках,
а в том, что это дополнительно 100 тысяч без учетах налогов (по 10
тысяч в день на одного исполнителя), а с учетом налогов —
это будет все 200 тысяч к стоимости проекта. У Вас есть
такие деньги и такие исполнители? Ах есть, тогда в очередь —
на полгода (потому что по аналогичным заказам наши исполнители
уже заняты на полгода вперед). Ах, Вам надо завтра, а не через
полгода? — Тогда за срочность в тройном размере — плюс 600
тысяч к заказу. Не подходит? — А может лучше на время мейлы
дадите Ваших участников? Или может быть, попросите их
записать 9-значные номера?

… я уже думал, как построить разветвленную «технологическую
форму-анкету», по заполнению которой горе-заказчик снимет
большую часть неопределенности в своей голове (и в нашей),
а может быть, просто придет к обыкновенному выводу: «наша
организация не готова». Пока у меня получается такая сложная
анкета, что ею пугать заказчиков сразу… рука не поднимается.