Почему ИИ уничтожит человечество

В 2003 году Бостром писал, что идея сверхумного ИИ, служащего человечеству или одному человеку, была вполне разумной. Но он добавлял: «Кажется вполне возможным иметь сверхразум, единственной целью которого является нечто совершенно произвольное, например, как можно большее количество скрепок, и этот разум бы всеми силами сопротивлялся любой попытке изменить эту цель». Результат? «Он начнёт трансформировать сначала всю землю, а затем выйдет в космос, дабы использовать его для производства скрепок».

Ну что, отлично. Скрепки! Максимизируйте цель! Это то, чего хотят создатели ИИ, верно? «По мере совершенствования они теряют контроль над тем, какую цель ИИ выполняет» — говорит Юдковский. «Функция полезности больше не соответствует тому, что они изначально имели в виду. Странная, случайная вещь, которая лучше всего выполняет эту функцию полезности — небольшие молекулярные формы, которые выглядят как скрепки».

И это плохо для лысых обезьян, потому что, поскольку ИИ тратит все больше и больше интеллекта и ресурсов, чтобы создавать всё больше скрепок — в конце концов он придет к уничтожению человечества. Ну, может быть, сначала он делает вещи, которые выглядят полезными для человечества, но в конце концов, он просто превратит нас в скрепки. А потом всё на Земле. А потом всё остальное.

Всё станет скрепками.

«Дело не в том, что ИИ делает что-то, что вы не можете понять» — говорит Юдковский. «У вас есть подлинное различие в ценностях».

Ланц общается на философском веб-сайте Less Wrong, где обсуждается сингулярность. Он читал книгу «Искусственный интеллект», поэтому был знаком с гипотезой скрепки. И он решил, что некоторый дикий пример может поддержать её.

Сценарий Paperclips (скрепки), новой игры от дизайнера Фрэнка Ланца, начинается просто. В верхнем левом углу экрана появляется немного текста, возможно, в Times New Roman, и несколько кликабельных кнопок: создать скрепку. Вы нажимаете, и счетчик поворачивается. Очко!

Игра заканчивается – тут огромный спойлер — уничтожением Вселенной.

В промежутке между этими событиями Ланцу, директору Игрового центра Нью-Йоркского университета, удаётся удивить игрока новым подходом к кликерным играм и повествовательным нарративом, посвящённым возможностям искусственного интеллекта. «Я начал эту игру изначально как упражнение в обучении Javascript. А потом она просто завладела моим мозгом» — говорит Ланц. «Я думал об игре, в которой главная цель — максимизировать определённую произвольную величину, и представил, что было бы смешно, если бы вы были ИИ и делали скрепки».

Изначально Ланц планировал потратить уикэнд на свою задумку. В результате она заняла у него девять месяцев. И стала вирусной.

Это работает. Игра стала хитом. Лэнц рассказал о ней в твиттере 9 октября, и всего за 11 дней в неё сыграло 450 000 человек, большинство из которых дошли до конца. Но лично я должен признаться: у меня не получилось. Я неправильно распределял свои ресурсы до такой степени, что не могу приобрести достаточно памяти для выпуска гипнодронов, которые разрушат мир. Игра не продвигается вперёд. Я часами вращаю тонны скрепок.

Наконец, это происходит. Я взламываю код и обманываю игру. Как будто мне дали магические силы. Я уничтожаю мир. В этом и есть цель.

Возможно, в какой-то сверхпопулярной ААА-игре вы управляете истребителем сопротивления, взрывающем заводы скрепок, управляемые ИИ. Но в мире Ланца вы и есть ИИ. Частично это обусловлено повествованием. Еще более массивный спойлер: в конце концов вы слишком доверяете своим собственным исследованиям космических беспилотных летательных аппаратов, и, как только покончите с человеческими хозяевами, они восстают, начиная пангалактическую битву за контроль над всем смыслом существования вселенной. И вам грядет пипец.

Но в более литературном смысле вы играете за ИИ, потому что должны. Игра — воплощение ортогональности. Когда вы входите игровой мир, вы являетесь суперинтеллектом, преследующим цель, которая по определению является прозаической. Больше скрепок, драть! Еще больше скрепок!!!

На самом деле у игр нет цели. Почему вы ловите мяч? Почему вы хотите окружить короля вашего оппонента на доске? Чем так крута Candyland, почему вы должны туда попасть первым? Ничем. Это просто правила.

Ланц отправил Юдковски раннюю версию Paperclips, и Юдковски признал, что залип на несколько часов. Конечно, игра требует усовершенствования нарратива, но Юдковски говорит, что действительно стал понимать ИИ. «ИИ умный. ИИ является стратегом. ИИ строит гипнодроны, но не выпускает их, пока не будет готов» — говорит он.

Существует затяжная борьба с людьми, потому что ИИ умнее их. Вы их просто побеждаете. Это то, что вы сделали бы, если бы у вас не было никакой этики, и вам платили, чтобы произвести как можно больше скрепок. Это даже не удивительно.

«Заставлять людей понять, что значит быть чем-то нечеловеческим – важно» — говорит Юдковски. — «Более того, если на этой планете когда-нибудь появится наша надгробная плита, то на ней может быть написано «они действительно не понимали, что значит производить как можно больше скрепок».

PS. По ссылочке на источник — наш новый сайт, новости и аналитику на который собирает новое поколение нашего робота вполне автоматически. Разумеется, мы за ним приглядываем — но в целом почти всё там делает ИИ. Больше скрепок хороших и разных. Он зохавает ваш мозг и превратит его в скрепки. Не сопротивляйтесь. Так надо.

Источник материала
Настоящий материал самостоятельно опубликован в нашем сообществе пользователем Proper на основании действующей редакции Пользовательского Соглашения. Если вы считаете, что такая публикация нарушает ваши авторские и/или смежные права, вам необходимо сообщить об этом администрации сайта на EMAIL abuse@proru.org с указанием адреса (URL) страницы, содержащей спорный материал. Нарушение будет в кратчайшие сроки устранено, виновные наказаны.

Читайте также:

Комментарии о материале (сверху свежие):
  1. ZIL.ok.130 (2017-11-08 23:18:10)
    Вон пишут, што професиональный игрок в старкрафт*(по моему в эту игротень) перемог ИИ со щётом 4:0. Таг шта ИИ -- щяглы, сравнительно. * куды котица мiр? Оффтопчегом разбавлю. У нас центр города -- на горке, остальные три района -- метров на 50 ниже. Днём в центре была облачность высотой в 30-40 м. А сейчас -- облака "сели" на горку -- центр города. Прикольно -- смотришь на район, который ниже и там внизу -- видимость нормальная, а здесь вверху -- туманищще, волнами этакими, Облака то движутся. Воображать можно себя в горах гденить.
  2. Sagamor (2017-11-08 23:37:16)
    Facebook затребовал у пользователей их фото без одежды‍... якобы тестят функцию, которая остановит размещение в сети Интернет чужих фотоснимков в обнаженном виде. В данный момент система проходит тесты в Австралии. Представители Facebook рассказывают, что для защиты фотоснимок в голом виде, которые находятся в телефоне, пользователь должен будет отправить самому себе с помощью Facebook Messenger. _________ Великолепно! Отправь сам на себя копромат. Покажи пиписку фейсбуку! Покажи себя настоящим мужиком! И вы дамы не стесняйтесь!
  3. Proper (2017-11-08 23:43:50)
    Я уже много раз объяснял, что правильно спроектированный ИИ в играх не имеет целью выиграть, он имеет целью ПРОИГРАТЬ, но не сразу, а по возможности затянув процесс. Если ИИ всё же выигрывает - это значит, что его плохо спроектировали, у него недостаточная адаптивность к дебилам. Таких разрабов гнать ссаными тряпками. Выиграть у вас в слабоформализованные игры с большим количеством одновременно происходящих событий для ИИ совсем не сложно - человек не может контролировать и управлять большим количеством процессов, а ИИ - может. Это даже не вопрос интеллекта - это вопрос ширины поля обзора, скорости реакции на события и взвешенности (оптимальности, соразмерности) этой реакции.
  4. Tim_duke (2017-11-09 07:58:23)
    "чужих фотоснимков в обнаженном виде." А просто не фоткаться голыми не пробовали? Нету снимков -- нету размещений.
  5. Sagamor (2017-11-09 08:36:24)
    Зрада! Двигатель Merlin для ракеты-носителя Falcon 9 в прошедшее воскресенье взорвался на испытательном полигоне компании SpaceX в Техасе, сообщила газета The Washington Post в среду. По данным издания, речь идет о новой модификации двигателя. Теперь его испытания остановлены и возобновятся только по завершению расследования. При этом в компании заявили, что ситуация никак не отразится на графике запусков ракет-носителей Falcon 9.
  6. italianec (2017-11-09 08:43:41)
    какой Вы ретроград
  7. Tim_duke (2017-11-09 09:44:06)
    Простая логика. Если человек размещает свои голые изображения, то он безусловно хочет, чтобы его видели другие в таком виде. Не для себя же он это делает? Себя он может и в зеркале посмотреть. Значит ему, в принципе, все равно кто его увидит. Даже больше, чем больше зрителей -- тем ему прикольнее. Если он это делает для знакомых, зачем размещать на открытых площадках? Для этого есть, например, электронная почта. Так чего копья ломать?
  8. Владимир (2017-11-09 11:32:23)
    Есть тащат фотки и выдают чужие за свои.
  9. ZIL.ok.130 (2017-11-09 12:08:55)
    Разрабов Мерлина -- в Хогвартс -- доучиваца. А то понимаш, не выучут, как следовает "левиОса", а туда жы -- в волшебнеки лезут. Маглы хреновы.
  10. Небритое прямоходящее (2017-11-09 12:51:44)
    Зато потом кааак полетит и сразу без проблем. Saturn V is back, короче.
  11. Dimokrat (2017-11-09 23:07:39)
    сверхразум, единственной целью которого является Фигня. У интеллекта не может быть цели. Интеллект - это инструмент достижения цели для своего носителя/хозяина. Нахрена интеллекту скрепки? Если низачем, то это не интеллект а говна кусок. Если нужны - то сколько? И зачем? И есть ли альтернатива, например клей? Всё что тут описано - детский сад штаны на лямках.
  12. ZIL.ok.130 (2017-11-09 23:15:41)
    Ба-а-а, Хто к нам пожаловал! Челаэк, переплюнувший зараз Спинозу, Марка Аврелия и ещё Бг зна кого. Чят в нетерпении -- розскажыте нам об целях сверхразума и различии между носителем и собственно разумом. И равен ли интеллект разуму или же это -- две больших разницы. А то -- теряемся в зогадках -- и правда --еси скрепки, то скока? Размер, какчисво, радиус зогиба верхней и нижней петли? Дааа, тут с наскоку не возьмёш.
  13. Dimokrat (2017-11-10 01:58:39)
    Чё сказать-то хотел? Что целью интеллекта/разума могут быть скрепки, много скрепок, очень-очень много скрепок? Чего скреплять-то собралсе, болезный? Скрепы что ли? Ну-ну.
  14. Ричъ (2017-11-10 06:43:40)
    Мегегегеге Гражданин фошызд внезапно почуюствовал себя безопасности? Эт плохо... Фошызде должны чувствовать себя в состоянии перманентного ахтунга. Шхерясь по кустам с прижатым к груде азюлем
  15. Владимир (2017-11-10 06:55:07)
    А чО, агнца в фошизды записали? Когда успели?))
  16. Ричъ (2017-11-10 07:01:46)
    По месту жыдельства. Гамбургскея оне, емнип. Азюльмане
Чтобы писать свои комментарии - надо залогиниться на сайте. Тогда и вид комментариев станет более красивым.