Как создают робота, который захочет изменить мир?

Компьютерный ученый Кристоф Солдж пытается устранить необходимость в правилах, регулирующих поведение роботов. Его стратегия - дать им цель: сделать нас более могущественными. Кристоф работает в Лаборатории инновационных игр в Нью-Йоркском университете. Саша Маслов дал интервью Solj для журнала Quanta, из которого мы узнали, что нам, возможно, не нужно пытаться сохранить неконтролируемый поток технологической сингулярности.

Известные три закона робототехники Исаака Азимова - ограничения поведения андроидов и автоматов, необходимые для обеспечения безопасности человечества, также были неполными. Эти законы впервые появились в истории Азимова в 1942 году, а затем в классических работах типа «Я, Робот» и звучат так:

Робот не может причинить вред человеку или через его бездействие, чтобы позволить человеку причинить вред. Робот должен подчиняться приказам людей, если они не противоречат Первому закону. Робот должен защищать свое существование, если эта защита не противоречит первому или второму закону.

Конечно, в этих законах вы можете найти много противоречий и лазеек (которые, по сути, использовались и самим Азимовым). В наш нынешний век передового программного обеспечения с машинным обучением и автономной робототехники определение и реализация железной этики искусственного интеллекта стало неотложной проблемой для таких организаций, как Институт исследований машинной разведки и OpenAI.

Кристоф Сейдж принял другой подход. Вместо «сверху вниз», чтобы навязывать философские определения того, как искусственные агенты должны или не должны себя вести, Солдж и его коллега Даниэль Поляны исследовали путь «снизу вверх» или «то, что должен делать робот первым», как они писали в его статья «Расширение прав и возможностей в качестве замены для трех законов робототехники». «Расширение прав и возможностей», концепция, появившаяся на стыке кибернетики и психологии, описывает внутреннюю мотивацию агента для одновременного сопротивления и работы в среде. «Как организм, он хочет выжить. Он хочет оставить знак в мире», - объясняет Солдж. Пылесос Roomba, запрограммированный на поиск зарядной станции, когда батареи разряжены, является рудиментарным примером «расширенных прав»: чтобы продолжать функционировать в мире, он должен получить заряд и продолжить свое существование, то есть выжить ,

Расширение прав и возможностей может звучать как рецепт того же результата, который защищает безопасный искусственный интеллект, такой как бог Ник Бостром: мощная автономная система, которая занимается только удовлетворением своих собственных интересов и сходит с ума в этом процессе. Но Солж, который изучает человеко-машинные социальные взаимодействия, спрашивает себя: что произойдет, если агент с расширенными правами «также расширит права другого»? Необходимо, чтобы робот не просто хотел оставаться в рабочем состоянии - необходимо, чтобы он также хотел поддержать своего человеческого партнера. "

Соль и Поланьи поняли, что теория информации предлагает способ воплотить это взаимное расширение в математическую основу, которую примет не философствующий искусственный агент. «Один из недостатков трех законов робототехники заключается в том, что они основаны на языке, а язык очень неоднозначен», - говорит Солж. «Мы пытаемся найти то, что действительно может быть выполнено».

Некоторые технологи считают, что ИИ - большая, даже катастрофическая, угроза существованию людей. А ты?

Я буду воздерживаться. То есть, я действительно считаю, что в настоящее время существует страх перед роботами и растущее влияние ИИ. Но я думаю, что в краткосрочной перспективе мы, скорее всего, будем больше обеспокоены возможной сменой рабочих мест, процессом принятия решений, потерей демократии, потерей конфиденциальности. Я не знаю, насколько вероятно появление неконтролируемого ИИ в ближайшем будущем. Но даже если ИИ будет контролировать систему здравоохранения и выдавать рецепты, мы должны думать об этических проблемах, возникающих в ходе его работы.

Каким образом концепция расширения прав и возможностей поможет нам справиться с этими проблемами?

Я думаю, что идея расширения прав заполняет нишу. Это не позволит агенту позволить человеку умереть, но как только вы сможете остаться на этом пороге, она будет поддерживать намерение создать дополнительные возможности для выражения лица и влияния на мир. В одной из книг Азимова роботы просто в конечном итоге помещают всех людей в безопасные контейнеры. Это было бы нежелательно. Если наша способность влиять на мир будет постоянно улучшаться, я думаю, что достичь цели будет гораздо интереснее.

Вы протестировали свои идеи о виртуальных агентах в среде видеоигр. Что случилось?

Агент, мотивированный своими расширенными правами, уклоняется от снаряда и не попадает в яму, как правило, избегает любой ситуации, которая может привести к потере мобильности, смерти или ущерба таким образом, чтобы снизить его операционную эффективность. Он просто держится.

В сочетании с человеком, который также наделен передовыми правами, мы увидели, что виртуальный робот будет поддерживать определенное расстояние, чтобы не мешать движению человека. Он не будет блокировать вас, он не будет на перевале, так что вы не сможете пройти. Он будет как можно ближе к вам, чтобы помочь. Это приводит к поведению, в котором он может взять на себя инициативу и следовать за незнакомцем.

Например, мы создали сценарий, в котором у нас был лазерный барьер, опасный для людей, но безопасный для робота. Если человек в этой игре приближается к лазерам, у робота больше стимула блокировать лазер. Стимул усиливается, когда человек становится прямо перед барьером, словно намереваясь пересечь его. И робот фактически блокирует лазер, лицом к лицу.

Имели ли эти агенты какое-либо непреднамеренное поведение, подобное тому, что следует из трех законов в книге Азимова?

Сначала было хорошо. Например, виртуальный робот перехватил противников, которые пытались вас убить. Время от времени он мог прыгать под пулей, если это был единственный способ спасти вас. Но то, что удивило нас, с самого начала, что он также очень боялся человека.

Причина этого связана с его «близорукой» моделью: на самом деле он анализирует, как последовательности определенных действий на двух или трех шагах могут повлиять на мир, как для вас, так и для него. Поэтому первым шагом было программирование игрока на случайное действие. Но на практике это привело к тому, что агент рассматривал человека как своего рода психопата, который мог в любой момент, например, снять агента. Поэтому агент должен был очень тщательно выбирать позиции, в которых человек не мог его убить.

Нам нужно было это исправить, поэтому мы смоделировали так называемое предположение о доверии. По сути, партнерский агент действует исходя из предположения, что человек будет выбирать только те действия, которые не будут ограничивать расширенные права агента - возможно, это более подходящая модель для модели-компаньона.

Мы также заметили, что если бы у вас было, скажем, 10 очков здоровья в игре, компаньон не особенно беспокоился, если бы вы потеряли восемь или девять из этих очков - он даже мог бы стрелять в вас один раз, просто для удовольствия. И тогда мы поняли, что существует разрыв между миром, в котором мы живем, и моделью в компьютерной игре. Как только мы смоделировали ограничения емкости, вызванные потерей здоровья, проблема исчезла. Это также можно было бы решить, создав не такую ​​недальновидную модель, которая могла бы рассчитать действия на пару шагов в будущее. Если агент сможет смотреть дальше в будущее, он увидит, что наличие большего количества точек здоровья может быть полезно для будущих событий.

Принимая во внимание, что изменение количества очков здоровья никак не влияет на мои расширенные права, агент решает: «Я стреляю в него, не стреляйте - какая разница?». А иногда стреляет. Это, конечно, проблема. Я не хочу случайных выстрелов в игроков. Мы добавили патч, чтобы виртуальный робот немного больше беспокоился о вашем состоянии, чем о вашем собственном.

Как вы делаете эти понятия точными?

Если мы рассматриваем агентов как системы управления, их можно разложить на информационные компоненты: что-то происходит в мире и так или иначе относится к вам. Мы говорим об информации не как о вещах, которые вы воспринимаете, а как о воздействии любого рода - это может быть вещество, то, что течет между миром и вами. Там может быть температура или питательные вещества в вашем теле. Любая вещь, которая пересекает границу между миром и агентом, несет информацию сама по себе. Точно так же агент может влиять на внешний мир разными способами, а также отображать в нем информацию.

Вы можете рассматривать этот поток как пропускную способность канала, это концепция из теории информации. У вас могут быть широкие полномочия, расширенные права, если вы можете предпринимать различные действия, которые приводят к разным результатам. Если что-то пойдет не так, вы потеряете свои полномочия, потому что потеря способности соответствует количественному снижению пропускной способности канала между вами и окружающей средой. Это основная идея.

Насколько агент должен знать, чтобы его расширенные полномочия функционировали полностью?

Расширенные права имеют то преимущество, что их можно использовать, даже если у вас нет полных знаний. Агент действительно нуждается в модели того, как его действия будут влиять на мир, но он не нуждается в полном понимании мира и всех его тонкостей. В отличие от некоторых подходов, которые пытаются моделировать все в мире, насколько это возможно, в нашем случае нужно только выяснить, как ваши действия влияют на ваше восприятие. Вам не нужно все знать обо всем; Нужен только агент, который исследует мир. Он что-то делает и пытается понять, как его действия влияют на мир. Модель растет, и агент понимает все лучше и лучше, где расширяются границы его полномочий.

Вы протестировали его в виртуальной среде. Почему не в реальном мире?

Основным препятствием для масштабирования этой модели и превращения ее в реального робота является сложность расчета пропускной способности агента и человеческого канала в такой богатой среде, как реальный мир, в течение долгого времени. Все эти процессы еще не вступили в силу. Я оптимист, но пока эта проблема остается чисто вычислительной. Поэтому мы проверяем работу системы в компьютерной игре в упрощенной форме.

Похоже, что расширение прав и возможностей, в идеале, сделает наши машины мощными дежурными собаками.

Я даже знаю некоторые роботы, которые сознательно моделируют поведение компаньона на основе собак. Я думаю, что если роботы будут относиться к нам так же, как наши собаки, в этом будущем мы все сможем ладить.

Вам нужна помощь квалифицированных специалистов.
Мы готовы помочь вам в реализации ваших идей. Вы можете рассчитывать на максимальный результат от вашего бюджета.

Оставить сообщение на странице

Перед тем как нажать кнопку "Добавить комментарий". Докажите что вы не "Робот", а действительно реальный человек! Нажмите на кнопку "Я не робот".