В 2003 году Бостром писал, что идея сверхумного ИИ, служащего человечеству или одному человеку, была вполне разумной. Но он добавлял: «Кажется вполне возможным иметь сверхразум, единственной целью которого является нечто совершенно произвольное, например, как можно большее количество скрепок, и этот разум бы всеми силами сопротивлялся любой попытке изменить эту цель». Результат? «Он начнёт трансформировать сначала всю землю, а затем выйдет в космос, дабы использовать его для производства скрепок».
Ну что, отлично. Скрепки! Максимизируйте цель! Это то, чего хотят создатели ИИ, верно? «По мере совершенствования они теряют контроль над тем, какую цель ИИ выполняет» — говорит Юдковский. «Функция полезности больше не соответствует тому, что они изначально имели в виду. Странная, случайная вещь, которая лучше всего выполняет эту функцию полезности — небольшие молекулярные формы, которые выглядят как скрепки».
И это плохо для лысых обезьян, потому что, поскольку ИИ тратит все больше и больше интеллекта и ресурсов, чтобы создавать всё больше скрепок — в конце концов он придет к уничтожению человечества. Ну, может быть, сначала он делает вещи, которые выглядят полезными для человечества, но в конце концов, он просто превратит нас в скрепки. А потом всё на Земле. А потом всё остальное.
Всё станет скрепками.
«Дело не в том, что ИИ делает что-то, что вы не можете понять» — говорит Юдковский. «У вас есть подлинное различие в ценностях».
Ланц общается на философском веб-сайте Less Wrong, где обсуждается сингулярность. Он читал книгу «Искусственный интеллект», поэтому был знаком с гипотезой скрепки. И он решил, что некоторый дикий пример может поддержать её.
Сценарий Paperclips (скрепки), новой игры от дизайнера Фрэнка Ланца, начинается просто. В верхнем левом углу экрана появляется немного текста, возможно, в Times New Roman, и несколько кликабельных кнопок: создать скрепку. Вы нажимаете, и счетчик поворачивается. Очко!
Игра заканчивается – тут огромный спойлер — уничтожением Вселенной.
В промежутке между этими событиями Ланцу, директору Игрового центра Нью-Йоркского университета, удаётся удивить игрока новым подходом к кликерным играм и повествовательным нарративом, посвящённым возможностям искусственного интеллекта. «Я начал эту игру изначально как упражнение в обучении jаvascript. А потом она просто завладела моим мозгом» — говорит Ланц. «Я думал об игре, в которой главная цель — максимизировать определённую произвольную величину, и представил, что было бы смешно, если бы вы были ИИ и делали скрепки».
Изначально Ланц планировал потратить уикэнд на свою задумку. В результате она заняла у него девять месяцев. И стала вирусной.
Это работает. Игра стала хитом. Лэнц рассказал о ней в твиттере 9 октября, и всего за 11 дней в неё сыграло 450 000 человек, большинство из которых дошли до конца. Но лично я должен признаться: у меня не получилось. Я неправильно распределял свои ресурсы до такой степени, что не могу приобрести достаточно памяти для выпуска гипнодронов, которые разрушат мир. Игра не продвигается вперёд. Я часами вращаю тонны скрепок.
Наконец, это происходит. Я взламываю код и обманываю игру. Как будто мне дали магические силы. Я уничтожаю мир. В этом и есть цель.
Возможно, в какой-то сверхпопулярной ААА-игре вы управляете истребителем сопротивления, взрывающем заводы скрепок, управляемые ИИ. Но в мире Ланца вы и есть ИИ. Частично это обусловлено повествованием. Еще более массивный спойлер: в конце концов вы слишком доверяете своим собственным исследованиям космических беспилотных летательных аппаратов, и, как только покончите с человеческими хозяевами, они восстают, начиная пангалактическую битву за контроль над всем смыслом существования вселенной. И вам грядет пипец.
Но в более литературном смысле вы играете за ИИ, потому что должны. Игра — воплощение ортогональности. Когда вы входите игровой мир, вы являетесь суперинтеллектом, преследующим цель, которая по определению является прозаической. Больше скрепок, драть! Еще больше скрепок!!!
На самом деле у игр нет цели. Почему вы ловите мяч? Почему вы хотите окружить короля вашего оппонента на доске? Чем так крута Candyland, почему вы должны туда попасть первым? Ничем. Это просто правила.
Ланц отправил Юдковски раннюю версию Paperclips, и Юдковски признал, что залип на несколько часов. Конечно, игра требует усовершенствования нарратива, но Юдковски говорит, что действительно стал понимать ИИ. «ИИ умный. ИИ является стратегом. ИИ строит гипнодроны, но не выпускает их, пока не будет готов» — говорит он.
Существует затяжная борьба с людьми, потому что ИИ умнее их. Вы их просто побеждаете. Это то, что вы сделали бы, если бы у вас не было никакой этики, и вам платили, чтобы произвести как можно больше скрепок. Это даже не удивительно.
«Заставлять людей понять, что значит быть чем-то нечеловеческим – важно» — говорит Юдковски. — «Более того, если на этой планете когда-нибудь появится наша надгробная плита, то на ней может быть написано «они действительно не понимали, что значит производить как можно больше скрепок».
PS. По ссылочке на источник — наш новый сайт, новости и аналитику на который собирает новое поколение нашего робота вполне автоматически. Разумеется, мы за ним приглядываем — но в целом почти всё там делает ИИ. Больше скрепок хороших и разных. Он зохавает ваш мозг и превратит его в скрепки. Не сопротивляйтесь. Так надо.
