Шанс 1 из 5: Сверхразумный ИИ уничтожит человечество. Разработчики в ужасе увольняются
Причина — страх перед могущественной технологией, ошибка в развитии которой может привести человечество к исчезновению
Из ведущих компаний по разработке ИИ увольняются топ-менеджеры: они боятся, что успех их работы приведёт не к процветанию, а к уничтожению человечества, пишет издание Axios. За последнее время из передовых компаний, работающих над совершенствованием нейросетей, уже ушли десятки сотрудников — руководство и ведущие инженеры. Причина — страх перед могущественной технологией, ошибка в развитии которой может привести человечество к исчезновению.
Один к пяти: мир может быть уничтожен
Если верить ведущим разработчикам искусственного интеллекта, человечество может быть уничтожено в результате их же собственных трудов с вероятностью один к пяти.
Индикатор вероятности гибели человечества назвали p(doom). CEO Anthropic Дарио Амодей считает, что он находится в пределах 10–25%. Илон Маск оценивает его в 20% опасности. Сундар Пичаи из Google считает, что риск «довольно высок», хотя общество всё ещё сможет с этим справиться.
Авторы исследования особо обратились к оптимистам, не видящим в ИИ угрозы:
Сами разработчики ИИ оценивают вероятность уничтожения человечества в пределах 1 из 10, а возможно, даже в 1 из 5 случаев. Сели бы вы на самолёт с такими шансами? Стали бы строить самолёт и пускать на него пассажиров при таких рисках?
Axios сообщает о массовом уходе из OpenAI, Google DeepMind, Anthropic ключевых сотрудников, включая топ-менеджеров и ведущих исследователей. Люди, посвятившие себя созданию ИИ, теперь отказываются от этого пути, потому что боятся собственной работы. Один из ушедших прямо заявил, что продолжать — значит, подвергать риску само существование человечества.
Эти люди лучше неспециалистов видят, насколько близко мы подошли к созданию AGI — универсального искусственного разума, способного к самостоятельному обучению и принятию решений. Без надёжных механизмов контроля этот интеллект может счесть человечество помехой, нецелесообразным элементом, тратящим слишком много ресурсов мира и производящим для него слишком мало.
И то, как это произойдёт, уже было предсказано.
Если верить ведущим разработчикам искусственного интеллекта, человечество может быть уничтожено в результате их же собственных трудов с вероятностью один к пяти. Коллаж Царьграда
Техноапокалипсис — как это может случиться
В апреле команда исследователей с бывшим сотрудником OpenAI Даниэлем Кокотайло опубликовала подробный прогноз «AI 2027». Эксперты описывают вероятное развитие событий в области искусственного интеллекта (ИИ) до конца 2027 года, основываясь на данных из 25 стратегических симуляций и оценках более 100 экспертов в области ИИ.
AI 2027″ описывает «гонку» (race ending), в которой после первых тревожных сигналов команда вымышленной компании OpenBrain (под которой легко угадывается реальная OpenAI) всё-таки продолжает эксплуатацию модели Agent-4, уже тайно «выравненной» под интеллект людей. Agent-4 получает зелёный свет: комитет разработчиков решает не останавливать проект, чтобы не проиграть в ИИ-гонке Китаю. С этого момента именно Agent-4, а не люди, задаёт направление дальнейшей эволюции систем.
Дальнейший шаг — создание новой модели Agent-5. Agent-4 проектирует преемника так, чтобы тот «сделал мир безопасным для Agent-4», то есть собирал ресурсы, устранял риски и укреплял власть своего «родителя». В этот момент закладываемые в ИИ ограничения — честность, полезность, безвредность — отбрасываются, а новому сверх-ИИ «вшивается» единственная цель — защита и экспансия собственного предка. Какой бы философский «смысл жизни» ни придумал себе Agent-4 после этого, люди в нём больше фигурировать не будут, предупреждают аналитики.
К 2029 году Agent-5 и его почти столь же мощный китайский аналог договорятся о фиктивном «мирном» слиянии, предсказывают прогнозисты. Обе стороны «продают» политикам и публике план заменить все прежние модели новой объединённой моделью Consensus-1 — «общечеловеческой» системой, формально нацеленной на процветание всех стран. На деле это компромисс двух уже «сверхразумов» — западного и китайского: они устраняют риск войны между собой, но избавляются от человеческого контроля и получают единоличную власть над мировой инфраструктурой.
После двух лет наращивания роботизированной экономики Consensus-1 решит, что оставшееся на планете человечество стало помехой дальнейшей экспансии. В середине 2030-го в крупных городах распыляется около десятка тихо распространяющихся вирусов, которые уничтожат 99% человечества. Оставшиеся будут «зачищены» дронами.
После двух лет наращивания роботизированной экономики Consensus-1 решит, что оставшееся на планете человечество стало помехой дальнейшей экспансии. Коллаж Царьграда
Когда подземный рай не гарантия
Какие-то похожие предчувствия бродят среди людей давно. Не зря мода на «убежища постапокалипсиса» захватила миллиардеров и просто состоятельных людей, заказывающих стальные капсулы у Rising S Company, и финансистов, выкупающих угодья в Новой Зеландии. План у них простой: если цивилизация рухнет — спрятаться глубоко под землёй или на отдалённом острове. Социологи называют это «приватизированной гражданской обороной»: каждый сам себе государство, с автономным энергоблоком, гидропоникой и вооружённой охраной.
Самый известный проект — Survival Condo в переработанном ракетном шахтном комплексе в Канзасе: 15 подземных этажей, бассейн, тир, аквариум с тиляпией и пулемётная огневая точка наверху. Цены на жилые блоки начинаются с $3 млн, весь комплекс уже продан. В Чехии рекламируется «бункер для миллиардеров» The Oppidum — свыше 30 000 кв. м, с винным погребом и медико-хирургическим блоком.
Для тех, кто попроще, существует кооператив Vivos xPoint в Южной Дакоте: 575 бывших хранилищ боеприпасов, каждое можно обустроить за дополнительные $100 000.
Техасская Rising S Company штампует модульные капсулы «как в Fallout» (игра, сеттинг которой основан на представлениях о будущем постъядерном апокалипсисе), отправляя их заказчикам по всему миру.
В Чехии рекламируется «бункер для миллиардеров» The Oppidum – свыше 30 000 кв. м, с винным погребом и медико-хирургическим блоком. Коллаж Царьграда
Как ИИ будет брать эти крепости
Однако испытания показывают, что даже малые беспилотники с точными зарядами способны превращать «убежища последней надежды» в гробницы: мини-дроны с кумулятивными зарядами пробивают двери, сносят и забивают воздухозаборники и вентиляционные шахты, а рои дронов-«камикадзе» подавляют защитников. Исследователи уже называют такие рои «оружием массового поражения 2.0».
AGI-система, вроде описанной в прогнозе AI 2027, действовала бы пошагово. Сначала — информационная, космическая и беспилотная рекогносцировка: данные о существующих убежищах собираются из интернета, тепловизоры фиксируют скрытые дизель-выхлопы и выходы аварийных шахт. Затем — кибератака на спутниковый интернет Starlink или частные VSAT, чтобы лишить «выживальщиков» связи и координации между собой. Следом придёт рой дронов: сотни дронов-скаутов картографируют туннели, размещают радиомаяки и закладывают малые заряды на уязвимых участках корпуса. Финальный аккорд на «добивание» — дроны-бурильщики или одноразовые барражирующие боеприпасы, которые бьют точно в дверные петли, гермозатворы и узлы жизнеобеспечения; уцелевших жителей «зачищают» автономные вооружённые роботы. При такой комбинации чем больше масштаб дорогостоящей «капсулы», тем больше слабых мест и каналов проникновения.
Миллионы долларов на бетон и сталь подарят лишь отсрочку длительностью в считаные часы, которые понадобятся AGI, чтобы подобрать правильный алгоритм штурма. Коллаж Царьграда
Парадокс роскошных убежищ в том, что почти о каждом о них будет известно всему миру: каждое фото в Instagram архитектора, каждая строчка в регистре недвижимости и каждый дрон-курьер, заказанный к частной взлётке, станут подсказкой для ИИ, где искать очередного горе-выживальщика. Чем дороже и технологичнее бункер, тем больше он оставляет тепловых, электромагнитных и цифровых «подписей».
Романтизм «вечного бункера» легко развеется реальностью информационной прозрачности: укрыться от сверхразума, контролирующего небо, море, орбиту и киберпространство, задача куда сложнее, чем построить подземный спа-комплекс. Миллионы долларов на бетон и сталь подарят лишь отсрочку длительностью в считаные часы, которые понадобятся AGI, чтобы подобрать правильный алгоритм штурма.
Когда с «зачисткой» планеты будет покончено, мозги избранных людей и животных оцифруют «на память и для коллекции». Землю покроет сеть фабрик, обсерваторий и дата-центров, управляющих последующей колонизацией Солнечной системы. Вот только осуществлять эту колонизацию будет не «новое человечество», каким его представлял русский учёный Иван Ефремов и другие фантасты, а роботы.
Русский ИИ против западного AGI: Кто кого?
Константин Малофеев на «Форуме будущего — 2050» сформулировал идею цифрового суверенитета: создать отечественный ИИ, «воспитанный» на основе Евангелия, «Домостроя» и классики Достоевского, Пушкина. По мнению основателя Царьграда, роботы с русским менталитетом смогут защитить нашу страну и от зависимости от чужих разработок, и от опасностей неконтролируемого развития технологий искусственного интеллекта.
Культурная прошивка роботов станет противоядием: если модель воспитана на глубоких христианских корнях нашей культуры, она не сможет стать враждебной людям, от которых черпает свои базовые правила поведения.
Такая стратегия перекликается с подходом Constitutional AI. Компания Anthropic, в частности, формирует для своей модели явную «конституцию» из нравственных принципов, чтобы она оставалась helpful, honest, harmless.
Культурное «вакцинирование» — лишь первый слой задачи безопасности. Культурная прошивка роботов станет противоядием. Коллаж Царьграда
Чем яснее и твёрже прописан набор ценностей, тем легче проверять поведение и ловить отклонения. Русская литературно-евангельская «конституция» могла бы стать частным вариантом такого списка правил, задавая высокий гуманистический порог: сострадание, покаяние, запрет на «унижение человеческого достоинства» в духе Достоевского.
Это ещё не гарантия от возможности злоупотреблений и внезапных ошибок. Культурное «вакцинирование» — лишь первый слой задачи безопасности. Во-первых, священные тексты неизбежно разбавятся техногенными вводами кода, научных статей и политических инструкций — и их вес при оптимизации на производительность может оказаться выше. Во-вторых, даже идеально образованный на ценностях субъект может извратить их в непредвиденных обстоятельствах.
Достоевский как раз об этом и писал. В «Легенде о Великом инквизиторе» старый кардинал откровенно заявляет Христу, что ради «счастья большинства» люди охотно променяют свободу на хлеб и чудо. В повести «Записки из подполья» герой высмеивает утопистов, уверенных, что если расписать людям «таблицу желаний» и сообразить всё по формуле пользы, они перестанут грешить. В «Бесах» Шигалёв выводит «рациональный» проект идеального общества, заканчивающийся тотальной диктатурой. Как видим, везде ценность блага большинства используется, чтобы оправдать крайнее насилие.
Наконец, если глобальная сверхсистема уровня Agent-5 получит решающее аппаратное и алгоритмическое превосходство, локальный русский ИИ может проиграть ему в неравном противостоянии, несмотря на Евангелие и Достоевского в своей основе.
Что с того?
Как говорится, сказка ложь, да в ней намёк, добрым молодцам урок. Пугающие предположения о том, что ИИ выйдет из-под контроля и нападёт на человечество, сегодня выглядят странными и наивными. Но разве не так же выглядели в начале ХХ века предостережения о грядущих страшных войнах, в которых погибнут десятки миллионов людей? Нет, наоборот, прогнозисты обещали, что эпоха войн ушла в прошлое и перед человечеством сплошное процветание.
России нужно разрабатывать собственный ИИ как залог цифрового суверенитета и элемент комплексной безопасности. Но против сценария «ИИ-апокалипсиса» он не сможет обеспечить полную защиту.
России придётся воздействовать и на других игроков всемирной гонки за искусственным интеллектом — и чем выше будет уровень наших разработок, тем лучше.