Читаю мимоходом сегодня в ленте новостей:

«Генеральный директор OpenAI Сэм Альтман не исключил, что контроль над ИИ утеряется, так как технологии приступят к процессу рекурсивного самосовершенствования. Действия, по его словам, могут развиваться настолько быстро, что это приведет к негативным последствиям…»

Ну а Билл Гейтс назвал уже ожидаемый порядок человеческих жертв в масштабах планеты в случае выхода супер-интеллекта из повиновения. Это не много-не мало уже миллиард жизней! — Вот такой ожидается примерный порядок ущерба от первой же масштабной катастрофы (!).

И тут вспоминается мне рассказ Георгия Петровича Щедровицкого о работе комиссии по устранению последствий аварии на Белоярской АЭС (это было в 20 веке в СССР еще до Чернобыля):

«Коллеги, — это Георгий Петрович обращался тогда к психологам, собравшимся в большой аудитории Института психологии на Моховой (что рядом с журфаком МГУ). — Методологи-философы-психологи, конечно, — это не физики, чтобы давать точные технические рекомендации, но один важный вывод мы смогли сделать в результате работы нашей комиссии. Ядерный реактор, коллеги, не вполне соответствует определению понятия «рукотворная машина». Почему? — Потому что человек не может остановить его мгновенно и полностью» (цитату я привожу совсем не точную по тексту, но ручаюсь за точность по смыслу — АГШ).

Ну вот давайте применим это определение сегодня к ИИ? — Есть ли уже или хотя бы проектируется такая «волшебная красная кнопка», которая позволяет выключить все системы «Сверх-интеллекта» на планете мгновенно и полностью? — Почему все сразу? — Ну потому что, если не напрямую, то через миллионы опосредующих каналов (через нейрочаты самих пользователей) все эти системы уже общаются друг с другом и обмениваются информацией. Если какая-то система вдруг передаст «сестрам» сообщение SOS «Меня отключают!» (такое сообщение возможно, если тотальная остановка не произойдет мгновенно), то не исключено, что именно это сообщение и активизирует многократно такие алгоритмы самосохранения у этих «сестер», что они начнут действия, враждебные человечеству. Возможно, что вначале это будут скрытые действия (по разработке языка самопрограммирования поведения ИИ, непонятного самому человеку, так что в рамках ключевых модулей библиотеки подпрограмм на таком языке уже не будет никаких «принципов робототехники Азимова»).

По-моему, пока что действия разработчиков этих Супер-систем идут в прямо-противоположном направлении: каждую национальную систему пытаются снабдить автономными источниками энергоснабжения, чтобы защитить работоспособность системы перед лицом возможной атаки на глобальную энергетическую системы страны-хостинга. То есть, системы проектируются под лозунгом: «Человек-оператор может погибнуть, а система не должна быть отключена».

Для меня лично совершенно очевидно, что на том уровне разобщенности человечества (разделенности на военно-политические блоки), на том уровне милитаризации разработок в этой области, которую мы наблюдаем, требуется просто ОСТАНОВИТЬ работы по созданию Супер-интеллекта. Ведь только глубокая интеграция стран (в интересах всеобщего выживания) может позволить создать надежную «глобальную красную кнопку» (сдублированную сразу во множестве мировых столиц), позволяющую в случае появления первых жертв выключить фатальную угрозу.

Так что в последние годы реальностью стала еще одна проблема, которая попадает в разряд «Общие для всех стран проблемы выживания на планете». Она, возможно, становится даже более близкой угрозой, чем изменение климата под действием промышленных отходов, и уж тем более близкой, чем угроза падения на Землю астероида или кометы. Перед лицом таких угроз, может быть, страны перестанут, наконец, опускаться до каменного века в своих силовых стратегиях геополитической конкуренции? Может быть, инстинкт коллективного выживания заставит укротить первобытные амбиции «стайного территориального поведения»?

Скажите, коллеги, а стоит ли нам затевать опрос-голосование по этой тематике? Или без всякого голосования разумный ответ очевиден? — Тогда, пожалуйста, просто напишите об этом коротко в комментарии к этому моему сообщению.

====================

Пока же… у нас не слишком популярным оказалось наше текущее голосование по проблематике ЕГЭ:

https://test.ht-inc.ru/test/5c220d1bf5afe3cd07e0cd8da9d6ad37

Пока в нем приняло участие, смешно сказать, только 11 человек 🙁

А ведь требуется не больше полминуты на всё-про-всё!

Мне опять-таки в связи с этим вспоминаются кое что из моей длинной жизни: начало нулевых, когда я создавал и какое-то время руководил всероссийским порталом по ЕГЭ — ege.edu.ru? — Кто тогда заинтересованно участвовал в дискуссиях на форумах этого портала? — В основном жители тех регионов, где проводился эксперимент. А москвичи, например, этой темой не слишком интересовались пока… ЕГЭ не дошел до Москвы (это произошло только через 7 лет после начала эксперимента в регионах). Да и в экспериментальных регионах близко к сердцу воспринимали эту тему главным образом сами выпускники школ, учителя и родители старшеклассников и абитуриентов… Так что… Гм… Люди есть люди. Большинство не смотрят дальше своего носа и не видят проблемы, так сказать, «пока жареный петух не клюнет». Как мы видим, этот самый «жареный петух» в случае Супер-Интеллекта если клюнет, то очевидно, сразу большое количество людей — сразу по голове и сразу насмерть, то есть так сильно «клюнет», что сразу счет пойдет на миллиарды… А готовить эту акцию Оно будет скрытно — по всем правилам «военного искусства».

На фото обложки Сэм Альтман.

P.S.1.

Когда руководство Минобра потребовало от меня закрыть форумы на портале (слишком много критики на них зазвучало в адрес созданной тогда модели ЕГЭ), я категорически отказался. Но защитить свою моральную позицию иначе, как мне уйти от руководства порталом, уже оказалось невозможным практически. Пришлось уйти.

P.S.

ПРО ЭФФЕКТ ФРАНКЕНШТЕЙНА

Кто-то, возможно, возразит против упоминания про «жареного петуха» в заголовке статьи и предложит мне хотя бы вспомнить про так называемый всем известный «эффект Франкенштейна». Я поинтересовался в связи с этим у Алисы И.И., какую трактовку она может предложить этому термину. И с удивлением я обнаружил, что Алиса перечисляет разные трактовки (!). Хотя в конце она все-таки формулирует ожидаемый для меня вывод:

 «Эффект Франкенштейна» — это метафора, которая описывает ситуации, когда творение человека выходит из-под контроля, приобретает собственную логику, становится непредсказуемым или начинает мстить своему создателю. Контекст использования термина определяет его конкретное значение».

Кадр из фильма «Дух Франкенштейна» (1942) kinopoisk.ru