Стюарт Рассел
1,485,453 views • 17:35

Это Ли Седоль. Ли Седоль — один из лучших игроков в го в мире, и сейчас он в ситуации, которую мои друзья из Силиконовой долины называют «Мама дорогая!» —

(Смех)

момент осознания того, что искусственный интеллект развивается гораздо быстрее, чем мы ожидали. Итак, человечество проиграло партию в го. Но как же реальный мир?

Ну, реальный мир гораздо больше и сложнее, чем доска для игры в го. Несмотря на то, что это не столь очевидно, всё упирается в принятие решений. Если мы задумаемся о грядущих технологических инновациях... Норико [Араи] упомянула, что машины ещё не понимают смысл прочитанного. Но в будущем это произойдёт, и в этот момент, совсем скоро, машины прочитают всё, что когда-либо написали люди. Благодаря этому машины смогут предугадывать развитие событий лучше, чем люди; что и случилось во время игры в го. Получив больший доступ к информации, они смогут принимать решения лучше, чем мы. Хорошо ли это? Надеюсь, что да.

Вся наша цивилизация, всё, чем мы дорожим, основывается на нашем интеллекте. Если бы наш интеллект увеличился, человеческим возможностям не было бы предела. Думаю, это стало бы тем, что некоторые называют величайшим событием в истории человечества. Почему же тогда люди говорят, что ИИ может положить конец человечеству? Это что-то новое? Это лишь мнение Илона Маска, Билла Гейтса и Стивена Хокинга?

На самом деле нет. Эта идея появилась довольно давно. Вот цитата: «Даже если бы мы сохранили власть над машинами, например, имея возможность отключить их в любой момент, — чуть позже я вернусь к этой идее отключения, — мы, как вид, должны чувствовать себя довольно униженными». Кто же сказал это? Алан Тьюринг в 1951 году. Как известно, Алан Тьюринг является отцом информатики, а также, во многих аспектах, отцом ИИ. Если мы задумаемся над проблемой создания чего-то более разумного, чем наш вид, это можно будет назвать «проблемой гориллы», потому что предки горилл думали об этом несколько миллионов лет назад, и теперь гориллам можно задать вопрос: «Это была хорошая идея?»

Они бы собрались, чтобы решить, была ли это хорошая идея, и через некоторое время пришли бы к заключению, что это была ужасная идея. Наш вид находится в ужасном состоянии. Фактически в их глазах можно увидеть экзистенциальную печаль.

(Смех)

Что нам делать с тошнотворным ощущением, что создание кого-то умнее нас может оказаться не лучшей идеей? Единственный выход — прекратить разработку ИИ. Но, учитывая упомянутые мной преимущества и тот факт, что я исследователь ИИ, лично я против. Я хочу продолжать создавать ИИ.

Поэтому нам следует обсудить проблему более подробно. В чём суть проблемы? Почему совершенный ИИ может обернуться катастрофой?

Вот ещё цитата: «Нам следует быть уверенными, что цели, заложенные в машину, совпадают с нашими желаниями». Это сказал Норберт Винер в 1960 году, вскоре после того, как увидел, как одна из первых обучающихся систем научилась играть в шашки лучше своего создателя. Нечто подобное сказал царь Мидас: «Хочу, чтобы всё, к чему я прикоснусь, превращалось в золото». Он получил именно то, что просил. Именно эту цель он вложил в машину, так сказать, и затем еда, напитки и его семья превратились в золото, а он сам умер мучительной и голодной смертью. Итак, назовём это проблемой царя Мидаса: постановка цели, которая в действительности не совпадает с нашим желанием. В современном мире это называется проблемой согласования.

Некорректная постановка цели — лишь часть проблемы. Есть ещё кое-что. Если вы закладываете в машину цель, даже такую простую как сварить кофе, машина задастся вопросом: «Как я могу потерпеть неудачу в приготовлении кофе? Кто-то может отключить меня. Тогда я должен предотвратить это. Я сломаю свой выключатель. Я сделаю что угодно, чтобы защититься от любых вмешательств в процесс выполнения поставленной мне задачи». На деле этот режим крайней самозащиты не имеет ничего общего с первоначальной целью человечества — именно с этой проблемой мы столкнулись. Фактически это главный тезис выступления. Единственное, что вам нужно помнить: вы не сможете сварить кофе, если вы покойник.

(Смех)

Всё очень просто. Всего лишь помните это. Повторяйте себе это три раза в день.

(Смех)

На самом деле, в этом заключается сюжет фильма «2001: [Космическая Одиссея]»: у HAL есть цель, миссия, которая не совпадает с целью людей, что и приводит к конфликту. К счастью, HAL не обладает сверхразумом. Он довольно умный, но в итоге Дэйв смог перехитрить и отключить его. Но нам может повезти меньше. Что же нам делать?

Я пытаюсь переосмыслить ИИ, чтобы уйти от классического понятия машин, которые благоразумно преследуют цель. Здесь задействованы три правила. Первое, правило альтруизма: единственная цель робота — помочь человеку добиться всего, к чему он стремится, и приумножить его ценности. Я подразумеваю не сентиментальные ценности, а любые представления людей об идеальной жизни. И это правило нарушает закон Азимова, который гласит: робот должен защищать себя. Он вообще не заинтересован в сохранении своей жизни.

Второе, правило покорности. Это действительно важно для того, чтобы обезопасить нас от роботов. Оно гласит: робот не знает, что именно относится к человеческим ценностям, он должен приумножать их, не зная, что они из себя представляют. Это позволяет избежать проблемы концентрации на одной цели. Эта неопределённость оказывается решающей.

Но, чтобы приносить пользу, у него должно быть общее понимание наших желаний. Он узнаёт об этом, в первую очередь, из решений, принимаемых людьми, так что принятые нами решения содержат информацию о том, какой мы хотим сделать нашу жизнь. Итак, вот эти три правила. Теперь рассмотрим, как они применяются к вопросу, поставленному Тьюрингом: «Можно ли отключить машину?»

Итак, это робот PR2 из нашей лаборатории. Прямо на спине у него есть красная кнопка «Выкл». Вопрос: позволит ли он вам отключить его? Если мы пойдём старым путём, у него будет цель «Варить кофе; я должен варить кофе; я не могу варить кофе, если я мёртв». Очевидно, PR2 слушал моё выступление, и поэтому он говорит: «Я должен сломать свой выключатель и вырубить работников Starbucks, которые могут мне помешать».

(Смех)

Это кажется неизбежным, не так ли? Кажется, этого фатального режима невозможно избежать, он следует из конкретно определённой цели.

Что же случится, если у машины не будет чётко поставленной цели? Тогда она будет рассуждать по-другому и скажет: «Человек может отключить меня, но только если я допущу ошибку. Я точно не знаю, что правильно, а что нет, но я точно знаю, что не хочу ошибаться». Здесь действуют первые два правила. «Следовательно, я должен разрешить людям отключить меня». Фактически вы можете просчитать стимул, благодаря которому робот позволит людям отключить себя, и этот стимул тесно связан с неопределённостью поставленной цели.

А когда машина отключена, начинает действовать третье правило. Она узнаёт что-то о целях, которые должна преследовать, потому что понимает, что сделала что-то не так. По сути, мы, подобно математикам, можем применить греческие символы для доказательства теоремы, согласно которой именно такой робот принесёт человеку пользу. Вероятно, вам будет лучше работать с машиной, которая разработана с учётом этого момента. Данный пример очень прост, но это лишь начало наших попыток разработки робота-компаньона.

Итак, думаю, третье правило озадачивает вас. Вероятно, вы думаете: «Допустим, я поступаю плохо, я не хочу, чтобы робот поступал так же, как я. По ночам я пробираюсь к холодильнику за едой. Я делаю то-то и то-то». Вы бы не хотели, чтобы робот повторял за вами всё. На самом деле система работает немного иначе. Робот не будет копировать ваше плохое поведение. Он попытается понять ваши мотивы и, возможно, поможет вам противостоять им в случае необходимости. Но это сложная задача. Фактически мы пытаемся разрешить машинам прогнозировать все возможные варианты своей жизни и жизни каждого человека. Какую жизнь они бы предпочли? Этот процесс сопряжён с множеством затруднений. Я не ожидаю, что с ними можно справиться быстро. Главная сложность заключается именно в нас.

Как я уже упоминал, мы ведём себя плохо. Некоторые из нас просто ужасны. Но роботу, как я уже говорил, не нужно копировать поведение. У робота нет своих собственных целей. Он абсолютно альтруистичный и создан не только для удовлетворения потребностей своего пользователя, он должен уважать предпочтения каждого. Он может справиться с плохими поступками и даже понять, что вы поступаете плохо, например, берёте взятки, работая паспортистом, потому что вам нужно кормить семью и оплачивать обучение детей. Он может это понять, и это не значит, что он будет воровать. По сути, это лишь помогает вам оплатить учёбу детей.

Наши вычислительные способности также ограничены. Ли Седоль прекрасно играет в го, но он всё равно проиграл. Сделанные им ходы привели к поражению. Это не значит, что он хотел проиграть. Чтобы понять его поведение, нам следует смотреть сквозь призму человеческого познания, включающего наши вычислительные ограничения и являющегося очень сложной моделью. Но нам всё ещё есть над чем поразмыслить.

С моей точки зрения, самым сложным в исследовании ИИ является тот факт, что нас очень много, и поэтому машине нужно идти на компромисс, сопоставлять пожелания множества разных людей, и для этого существуют разные способы. Экономисты, социологи, нравственные философы поняли это, и мы стараемся активно сотрудничать.

Давайте посмотрим, что произойдёт, если вы допу́стите ошибку. Итак, например, вы беседуете с умным личным помощником, который может появиться через несколько лет. Представьте Siri на стероидах. Siri говорит: «Звонила ваша жена, чтобы напомнить о сегодняшнем вечере». И, разумеется, вы забыли. «Что? Какой ужин? О чём ты говоришь?»

«Ваша 20-я годовщина в 19:00».

«Я не могу, у меня встреча с генеральным секретарём в 19:30. Как такое могло случиться?»

«Я предупреждала вас, но вы проигнорировали мой совет».

«Что же мне делать? Я же не могу просто сказать ему, что занят».

«Не беспокойтесь. Я задержала его рейс».

(Смех)

«Какая-то компьютерная неисправность».

(Смех)

«Ты и такое можешь сделать?»

«Он приносит глубочайшие извинения и приглашает вас на обед завтра».

(Смех)

Итак, есть небольшая ошибка в оценке приоритетов. Чёткое следование ценностям моей жены и её принципу «Счастливая жена — счастливая жизнь».

(Смех)

Могло быть и по-другому. Вы приходите домой после тяжёлого рабочего дня, а компьютер спрашивает: «Трудный день?»

«Даже не успел пообедать».

«Думаю, вы очень голодны».

«Умираю с голоду. Можешь приготовить ужин?»

«Я должна кое-что вам сказать».

(Смех)

«Люди в Южном Судане нуждаются в помощи больше, чем вы».

(Смех)

«Так что я ухожу. Готовьте себе ужин сами».

(Смех)

Итак, нам нужно решить эти проблемы, и мне не терпится поработать над ними.

Для оптимизма есть основания. Во-первых, собран огромный объём данных. Помните, я говорил, что они прочитают всё, что когда-либо написали люди? В основном мы писали о том, как одни люди что-либо делают, а другие расстраиваются по этому поводу. Так что у нас есть множество данных для изучения.

Также есть важный экономический стимул сделать всё правильно. Представьте вашего робота у себя дома. Вы снова задерживаетесь на работе, и робот должен накормить детей, а кормить их нечем, потому что холодильник пуст. И робот видит кошку.

(Смех)

Робот не изучил сущность человеческих ценностей и не понимает, что сентиментальная ценность кошки превосходит её питательную ценность.

(Смех)

Что происходит тогда? Что вроде этого: «Ненормальный робот готовит котёнка на семейный ужин». Этот инцидент положил бы конец производству домашних роботов. Так что у нас есть огромный стимул сделать всё правильно до того, как мы создадим суперумную машину.

Итак, подытожим. По сути, я пытаюсь изменить определение ИИ, чтобы наши машины были действительно полезными. Основные моменты: это альтруистичные машины, которые хотят добиваться лишь наших целей, но не знают, каких именно целей, и будут наблюдать за всеми нами, чтобы узнать, чего мы на самом деле хотим. Надеюсь, в процессе мы сами станем лучше. Большое спасибо.

(Аплодисменты)

Крис Андерсон: Очень интересно, Стюарт. Мы задержимся здесь немного, потому что, сейчас идёт подготовка к следующему выступлению.

Пара вопросов. Идея программирования незнания подсознательно кажется очень мощной. Что помешает роботу, получившему суперразум, почитать книги и обнаружить, что на самом деле знания лучше невежества, начать следовать другим целям и перепрограммировать себя?

Стюарт Рассел: Как я уже сказал, мы хотим, чтобы роботы узнали больше о наших целях. Они станут более определёнными лишь когда станут правильными, робот будет запрограммирован правильно понимать полученные данные. Например, он будет понимать, что книги описывают мир довольно однобоко. Они повествуют лишь о королях, принцах и знатных белых мужчинах, которые делают свою работу. Это сложная проблема, но чем больше он будет узнавать о наших целях, тем больше пользы он будет приносить нам.

КА: Вы не можете свести всё к одному закону, который бы гласил: «Если когда-нибудь человек попытается меня выключить, я подчинюсь. Я подчинюсь»?

СР: Абсолютно исключено. Это была бы ужасная идея. Представьте, что у вас есть беспилотный автомобиль, и вы хотите отправить на нём своего пятилетнего сына в детский сад. Хотели бы вы, чтобы ваш пятилетний сын мог отключить машину, когда она едет? Вероятно, нет. Поэтому нужно понимать степень рациональности и здравомыслия личности. Чем более рационален человек, тем вероятнее робот согласится на отключение. Если это случайный человек или даже злоумышленник, он отключится с меньшей охотой.

КА: Хорошо Стюарт. Я очень надеюсь, что вы разберётесь с этим ради нас. Большое спасибо за выступление. Это было потрясающе.

СР: Спасибо.

(Аплодисменты)