Подпишитесь, чтобы получать уведомления о новых публикациях А.Г. Шмелёва!

Результаты «новогоднего диктанта» и… почти готовый экспресс-тест из трудных слов русского языка

Автор публикации:

Итак, подходит к концу время, отведенное в нашем клубе КИТТ на так называемый «новогодний диктант». Напомню, что каждый участник клуба получал возможность в каждом сеансе написать 25 слов (случайных из банка в 100 слов) под диктовку диктора. Желающие, кто не видел этого теста в КИТТ (так как не зарегистрирован в этом проекте), могут все еще выполнить его по гиперссылке в конце этой статьи.

В настоящий момент мы собрали 233 протокола по этому тесту и можем, как было обещано, опубликовать 20 самых трудных слов — таких, по которым было допущено более всего ошибок. Скажите, что статистика собранных протоколов невелика? — Но, по моему многолетнему опыту, уже 50 наблюдений достаточно, чтобы с высокой точностью указать именно такие слова, в которых сделано больше всего ошибок. А ведь каждое из этих слов было в ходе новогодних праздников предъявлено не менее 50 раз.

Итак, вот такая таблица получилась:

В этой таблице слова, как видите, упорядочены по убыванию процента ошибок, который указан во второй колонке. В третьей колонке слово написано так, как оно должно выглядеть на письме согласно русскоязычной орфографии.

Поясним, какие ошибки делаются, на примере самых трудных слов. Слово «апелляция» чаще всего пишут с двумя буквами «п» вместо двух букв «л». Слово «коммюнике» пишут с одной буквой «м». И вообще… надо сказать, что удвоенные согласные в русских словах иностранного происхождения — это просто бич! Почему? — Да, просто потому, что в иностранном языке они могут быть написано иначе, чем в русском переводе. Впрочем, ошибки делаются часто не только в удвоенных согласных, но и удвоенных гласных (пишут частенько «дикообраз» с двумя «о»). Разумеется, что нередко чередующиеся гласные тоже путают… Иногда возникают лишние согласные (как в слове «компромеНтировать»), а иногда необходимые согласные пропадают, потому что их банально не слышно в устной речи (как в слове «агенТство»).

ЭТО ПОЧТИ ГОТОВЫЙ ЭКСПРЕСС-ТЕСТ

Глядя на этот список, если бы я лично его увидел в какой-то чужой статье, я бы тут же сам себе задал вопрос: «А нельзя ли этот список приспособить для его применения в коротком «экспресс-теста» на грамотность?» Ответ: конечно, можно!

Тут возникает и такой вопрос . Можно, конечно, кому-нибудь из детей-старшеклассников предъявить все эти 20 слов и попросить написать словарный диктант. Но….как при этом грамотно проинтерпретировать результаты? Вот тут мы выходим на тему, которую будем подробно разбирать в наших дистанционных психометрических школах (летней и приближающейся в январе зимней):

(Нажмите здесь)

Но я прямо тут для любознательный дам совершенно бесплатно совет, который позволит Вам использовать этот материал в виде «экспресс-теста» и даже позволит выставлять вполне определенные оценки. Дело все в том, что среднее арифметическое значение для второго столбца таблицы равно 30%. А это значит, что средний балл ППО (процент правильных ответов) для этих 20 слов ожидается в размере 30%, что в пересчете на шкалу «сырых баллов» означает 14 правильных ответов из 20. А это значит, что если Ваш «ребеныш» показал больше 14 правильных ответов, то значит он грамотней уже сейчас, чем большинство взрослых, а если показал менее 14 правильных ответов, то значит ему… «есть над чем потрудиться» (надо подучить трудные слова). Впрочем, кому-то могут показаться не достаточными такие упрощенные «тестовые нормы» — единственная точка на шкале, которая является «средним показателем». Ну тогда вовсе не трудно подсчитать так называемое «стандартное отклонение». Оно для указанного второго столбца таблицы равно 11%, что дает нам на «шкале сырых балов» округленное значение «2 из 20». Это значит, что испытуемый с баллом 16 и выше по этим словам обоснованно претендует на оценку «отлично», а с баллом ниже 12 — на оценку «неуд». Ну да ладно… приведу тут полную таблицу рекомендуемых оценочных интервалов:

Ниже 12 из 20 — оценка «неуд».

От 12 до 13 — оценка «удов».

От 14 до 15 — оценка «хорошо».

От 16 и выше — оценка «отлично».

Вы не совсем поняли, как именно я получил такую таблицу перевода баллов в оценки (она в тестологии называется «конверсионной таблицей»), так? НО все-таки Вы хотели бы разобраться, как это делается? Ну тогда милости прошу на нашу зимнюю школу «Конструирование тестов знаний», которая упомянута выше.

В заключение даю обещанную ПРЯМУЮ ссылку на новогодний диктант:

https://test.ht-inc.ru/test/521c36be2082ea6f6bbe0e664a8a0f53

Эта ссылка сама по себе не требует никакой регистрации в клубе КИТТ, мы переводим тем самым данный диктант в категорию «избранные тесты» (см. сайт клуба).

ПРЕДУПРЕЖДЕНИЕ: в этом подарочном онлайн-диктанте будет больше ЛЕГКИХ слов, чем трудных, которые сведены в таблицу 1 в этой статье. Не путайте, пожалуйста, две версии методики. Я предложил сегодня Вам экспресс-методику на трудных словах. А про новогодний диктант мы получили уже немало отзывов типа «ну это же легкота!». Сколько получилось протоколов с результатом 25 из 25, знаете? — Скажу Вам: их получилось 49 из 233, то есть 21%. Немало знатоков, правда? У всех этих знатоков по экспресс-тесту следует прогнозировать балл в интервале «Отлично», то есть выше 15 из 20.

P.S.

Кстати… а знаете ли Вы, почему я включил ровно 20 слов в созданный экспресс-тест? Почему не 30 и не 15? — Потому что минимальное число заданий в тесте, согласно «Российскому стандарту тестирования персонала» равняется 20 (!). Вы знакомы с этим документом? — Нет? Есть еще один повод, почему Вам будет полезно поучаствовать хотя бы открытых вебинарах на наших дистанционных психометрических школах.

Ну и для дотошных я сделаю напоследок оговорку насчет различения «статистических» и «критериальных» тестовых норм. Очень многим справедливо может показаться, что оценка «удов» за работу, в которой сделано аж целых 8 ошибок (20-12=8) — это как-то слишком щедро и беспринципно. Вот в этом случае мы и получаем то самое расхождение между предложенными здесь мной «статистическими» тестовыми нормами и так называемыми «критериальными», которые обычно эксперты формулируют «из головы». Подробности этого различения мы тоже обсуждаем на школе.

P.S.2.

Ниже я решил опубликовать последние отзывы на этот тест. Надо сказать, что букву ё в слове дирижёр позже мы предусмотрели. Оказалось, что в банке из 100 заданий четыре слова с буквой ё, но дирижёра пропустили. В этом и ценность наших «испытателей», что они нам сообщают о таких ошибках, и мы их исправляем.

комментировать

5 ответов

  1. Ирина Лисица

    Спасибо, очень интересные результаты новогоднего диктант!
    И, конечно, спасибо за психометрическим азы.

  2. newheadline

    Для чистоты эксперимента все-таки нужно было после теста собирать статистику о количестве тестируемых, не отключивших функцию автоисправления или опиравшихся в том числе на подсказки этой функции.

    И Вы можете пойти дальше — создавать тесты на правописание «НЕ» с причастиями/наречиями, «н» или «нн» в причастиях, прилагательных и пунктуацию. В этом случае функция автоисправления точно не поможет.

    Кстати, можете попросить самих участников КИТТа попробовать создать и предложить аналогичные тесты. Получится нечто подобное ЕГЭ, только с аудио.

    P.S. Исправьте, пожалуйста, в своем тексте опечатку «легких слов, ем трудных» на «чем трудных».

  3. Алла

    Для меня этот тест оказался, неожиданно, полезным. Все мы с годами замыкаемся в своем «вокабулярном пузыре», и большая часть слов переходит из активного словаря в пассивный. ЗдОрово, если таких тестов будет больше!

  4. Anna Naumenko

    Александр Георгиевич, очень здорово!
    И позвольте обратить внимание, что вот в этом месте у Вас опечатка: «А это значит, что средний балл ППО (процент правильных ответ) для этих 20 слов ожидается в размере 30%, что в пересчете на шкалу «сырых баллов» означает 14 правильных ответов из 20.» ППО — 70%.

    1. Шмелёв А.Г.

      Анечка (Науменко), здравствуйте. Опечатку я поправил, спасибо!

      Понимаю, что после исправления многочисленных опечаток Шмелева в книге «Практическая тестология» Вам просто невозможно остановиться и не замечать новых опечаток у того же Шмелева 🙂 К тому же авторские опечатки и ошибки особенно нелепо выглядят в статье, посвященной русской орфографии 🙂

      На самом деле рад вашем появлению на этом обновленном «блоге Шмелева».

      Ваш АШ


Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Актуальный опрос

Ваши вопросы

Есть вопрос к автору блога?
Вы можете задать его здесь -> <клик>

Рубрики

Последние комментарии:

  1. Александр Георгиевич, я пожалуй уклонюсь от предметного ответа на ваш вопрос, и уйду в более широкую и фундаментальную область этой…

  2. Владимир, спасибо, что Вы посмотрели словарь на сайте Ht-line.ru и даже щедро поделились свои впечатлением. Правильно ли я понял Вас,…

  3. Александр Георгиевич, почитал ваш словарь и неожиданно понял чему большая наука научила меня… — это выражаться настолько просто, насколько это…

  4. Владимир Александрович, спасибо, что Вы раскрыли ваше понимание термина «Эмоциональная потребность». Надо сказать, что когда Вы пишите про «сенсорную депривацию»,…

  5. Александр Георгиевич, ваше сомнение насчёт эмоциональной потребности мне понятно, эта потребность сначала называлась у меня эмоционально-информационной, но моя любовь к…

Облако меток