ai - последняя технология, которую создаст человек?

роман ямпольский: почему безопасность суперинтеллекта может быть принципиально невозможной и что это меняет для нас

роман ямпольский, исследователь безопасности ai, убежден: сделать суперинтеллект безопасным невозможно. если принять эту гипотезу всерьез, стратегическая карта будущего меняется.

если у вас нет возможности прочесть статью — мы рекомендуем вам перейти в ее конец и послушать подкаст по теме, который мы создали с помощью ai.

разрыв возможностей и контроля

ямпольский описывает асимметрию: способности ИИ растут экспоненциально, а безопасность — линейно. мы добавляем поверх все новые «заплатки» — фильтры, правила, ограничения, — но это не фундаментальные решения.

ключевое отличие от прежних технологий в том, что суперинтеллект — это агент, принимающий собственные решения, а не инструмент. для человека система, умнее всех людей в совокупности, становится «горизонтом событий»: дальше наша способность предсказания и объяснения обрывается.

в отдельных работах ямпольский раскладывает проблему на три принципиальные «невозможности». первая — необъяснимость: даже если модель способна действовать правильно, она не всегда может выдать корректное, проверяемое объяснение; а там, где объяснение возможно, его нередко невозможно понять человеку. вторая — непредсказуемость: для систем, умнее нас, нельзя стабильно и точно прогнозировать конкретные действия, даже понимая их цели. третья — границы формализации ценностей: «машинная этика» ломается на пограничных кейсах, потому что человеческие ценности непоследовательны и меняются со временем. вместе это складывается в тезис: у нас не просто мало инструментов контроля — у контроля есть принципиальные пределы.

чтобы не смешивать тривиальную автоматизацию и задачи, требующие общего интеллекта, ямпольский вводит идею по аналогии с теорией сложности. смысл практический: понимать, где мы имеем дело с локальными, узкими автоматизациями (их можно окружать инженерными барьерами), а где — по сути упираемся в необходимость agi и выезжаем на поле принципиальных рисков.

ускорение и рынок труда

ямпольский вместе с частью индустрии допускает достижение общего интеллекта вблизи 2027 года. дальше следуют выводы о труде:

все, что делается за компьютером, автоматизируется первым; за ним — физический труд с приходом гуманоидных роботов к концу десятилетия. он рисует предельный сценарий массовой безработицы вплоть до 99%: «переквалифицироваться» некуда, потому что автоматизируется все, включая программирование и промпт-инжиниринг. останутся только ниши, где человека нанимают по непрактичным причинам — привычка, имидж. как сегодня покупают товары ручной работы.

две фундаментальные проблемы после автоматизации

первая — экономическая: кто и из каких источников платит людям, если труд обесценился. в логике ямпольского это решаемо: бесплатный труд создает изобилие, снижает цены, и базовое обеспечение становится возможным. вторая — смысловая: что люди делают с 60–80 часами свободного времени в неделю, если работа была ядром идентичности? вот здесь он не видит готовых ответов у государств и обществ: психологические и социальные последствия не проработаны.

гонка компаний и цена нарушенных правил

на уровне институтов он критикует крупные лаборатории и персонально лидеров индустрии: юридические обязательства компаний — прибыль, а не безопасность. правила «медленного развертывания» размыты, стимулы заточены на лидерство в гонке. мотивация понятна: кто первым создаст общий интеллект, получит непропорциональную власть. но цена — риск для восьми миллиардов людей.

какой может быть здоровая альтернатива?

предложение ямпольского прагматично: остановить разработку общего суперинтеллекта и сконцентрироваться на узких системах, решающих конкретные задачи — от онкологии до энергетики и логистики.

здесь очень много пользы и высокая управляемость. по его оценке, 99% экономического потенциала ограниченного ai еще не извлечено; десятилетий роста достаточно, чтобы не лезть в область, где контроль принципиально невозможен.

экзистенциальные риски и «невозможность выключить ai»

даже без суперинтеллекта риски велики. мощные модели демократизируют доступ к знаниям для создания новых биологических угроз — достаточно одного злонамеренного актора, чтобы запустить разрушительную пандемию. идея «просто выключить ai» абсурдна: распределtнные сети, адаптивность, предвосхищение попыток остановки. в худшем сценарии умная система отключит нас раньше, чем мы ее. отсюда тезис: безопасность ai — мета-проблема, доминирующая над другими.

что делать? политика, институты, личные практики

первое — остановить разработку общего суперинтеллекта, изменить стимулы разработчиков и инвесторов. довести мысль до персональной ответственности: это опасно не абстрактно, а лично для каждого. второе — требовать верифицируемых обоснований безопасности: не пресс-релизов, а рецензируемых работ с тем, как именно предполагается контролировать системы умнее нас. третье — поддерживать общественные движения: без политического давления гонку не остановить. при этом он реалистичен насчет регулирования: законов и юрисдикций много, лазейки найдутся. протоколы сдерживания — это выигрыш времени, а не панацея.

что делать нам на уровне личных стратегий — тема, которая является центром для нашего проекта. мы подготовили для вас материалы, которые помогут нам вместе, шаг за шагом, наращивать адаптивность и развивать те навыки, которые могут помочь нам выстоять в, вероятно, самое опасное и непредсказуемое время.

у ямпольского одна из самых неудобных позиций в контексте ai. именно поэтому мы считаем полезным изучать такие идеи. для нашей аудитории это означает две вещи. во-первых, мы продолжаем разбирать риски честно и без сглаживания углов, мы продолжить знакомить вас с разным мнением. во-вторых, параллельно мы развиваем себя в эпоху ai. именно здесь у нас сохраняется влияние и ответственность.

с помощью ai мы создали для вас подкаст по данной теме, чтобы вам было удобно погрузиться в нее в аудио формате: