Нулевой закон робототехники. Этические проблемы роботов: как нарушить законы робототехники

Смогут ли «три закона робототехники» защитить нас?

Прошло 50 лет с тех пор, как Айзек Азимов придумал свои знаменитые три закона робототехники — набор правил, которым должен следовать любой уважающий себя робот. Хотя изначально это был всего-лишь литературный прием, три закона стали оригинальным рецептом по избежанию «роботокалипсиса». К счастью, есть эксперты, которые изучают наверняка, выдержали ли гарантии Азимова проверку временем. К несчастью, все они говорят: нет.

Для начала напомним эти самые три закона:

  1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.
  2. Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.
  3. Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому и Второму Законам.

Позднее Азимов добавил четвертый, или нулевой, закон, который предшествовал остальным с точки зрения приоритета:

0. Робот не может причинить вреда человеку, если только он не докажет, что в конечном счёте это будет полезно для всего человечества.

В фантастической вселенной Азимова этим законам должны были следовать почти все роботы. Это были не просто предложения или руководящие принципы — законы были встроены в программное обеспечение. Кроме того, эти правила нельзя обойти, переписать или пересмотреть.

Как показал сам Азимов, несовершенство, лазейки и неясности в этих законах зачастую приводили к странному и нелогичному поведению роботов. Законы были слишком расплывчатыми и зачастую не могли определить и отличить «людей» от «роботов». Кроме того, роботы могли неосознанно нарушать законы, если полная информация была им недоступна. Также чересчур хитроумный робот или искусственный интеллект должен был находиться под давлением, чтобы не перепрограммировать свое ядро.

На дворе 2014 год, и многое обыденное из нашей жизни фантастам прошлого века могло показаться откровенной фантастикой. Многие люди посчитали, что законы Азимова должны были остаться в качестве литературного приема. Но сам Азимов в 1981 году отметил, что его законы могли бы работать. В статье журнала Compute! он указал следующее:

«Когда кто-то спрашивает меня, что было бы, если бы три моих закона робототехники на самом деле использовались для определения поведения роботов, ответ уже готов. Разумеется, при условии, что роботы будут достаточно гибкими и универсальными, чтобы обладать разным поведением. Я отвечаю: да, три закона — это единственный вариант, по которому люди могут взаимодействовать с роботами — или с чем-нибудь еще.

Спустя почти тридцать лет мы приблизились к реальности, в которой у нас будут роботы — или, если точнее, искусственный интеллект, который ими управляет — достаточно гибкие и универсальные для разных курсов поведения. Остается лишь вопрос времени: когда машина превзойдет человека во всех отношениях, начиная физической силой и заканчивая силой воображения.

Пугает то, что права на ошибку практически нет. Если искусственный сверхинтеллект будет плохо запрограммирован или безразличен к людям, это приведет к катастрофе. Мы должны убедиться в безопасности искусственного интеллекта, если хотим пережить его появление».

Ответить на вопрос «могут ли три закона Азимова помочь?» взялись два теоретика искусственного интеллекта: Бен Герцель (Aidyia Holdings) и Луи Хельм, замдиректора Института исследований машинного интеллекта (MIRI), а также исполнительный редактор журнала Rockstar Research. После разговора с ними стало ясно, что законы Азимова вообще никак не могут справиться с возложенной на них задачей, и если нам нужно создать безопасный ИИ, придется разрабатывать нечто совершенно иное.

Азимовское будущее?


Беседа с Герцелем и Хельмом началась с того, в чем Азимов не ошибся, предрекая будущее, а в чем ошибся.

«Думаю, что тип роботов, которых предвидел Азимов, станет возможным в недалеком будущем, — отвечает Герцель. — Тем не менее, в большинстве своих вымышленных миров, писатель предполагал, что человекоподобные роботы будут вершиной робототехники и инженерии искусственного интеллекта. Это вряд ли. Очень скоро, после достижения статуса азимовских роботов, станет доступным и создание искусственного сверхинтеллекта и сверхроботов».

Таким образом, типичный мир будущего в рассказах про роботов у Азимова, по мнению Герцеля, будет похож на тот, в котором мы живем сегодня, но с разумными роботами, гуляющими по улицам.

«Вряд ли это произойдет, а если и произойдет, то задержится ненадолго».

Для Хельма роботы представляются совершенно другими.

«Основным вопросом, который, на мой взгляд, будет самым важным для человечества, остается не моральное регулирование гигантского количества наполовину разумных гуманоидов, а в конечном итоге развитие передовых форм искусственного интеллекта (в любом теле). Это развитие сверхинтеллекта — фильтр, через который должно пройти человечество в конце концов. Именно поэтому разработка стратегии безопасности для этого перехода столь важна. Мне видится совершенно странным то, что роботы, андроиды или «эмуляции» будут существовать десять лет или чуть более до тех пор, пока человечество столкнется с настоящей проблемой разработки машинной этики для сверхинтеллекта».

Хорошее начало?


Если принять во внимание, что три азимовских закона робототехники были первой искренней попыткой решить очень серьезную проблему — проблему безопасного поведения машин с искусственным сверхинтеллектом — стоит поискать и те моменты, в которых законы могут быть все еще эффективными (или хотя бы вдохновляющими).

«Честно говоря, я не нахожу никакого вдохновения в этих трех законах робототехники, — говорит Хельм. — Суть машинной этики в том, что они не удовлетворяют базису машинной этики. Возможно, три закона робототехники широко известны, но на самом деле использовать их в качестве основы для программирования бесполезно».

Читать еще:  Какие есть способы складывания салфеток. Способы складывания салфеток. Как складывать бумажные салфетки

«По некоторым причинам система добропорядочной этики — так называемая деонтология — стала ненадежной основой для этики. Есть ряд философов, которые пытаются исправить проблемы деонтологии, но они по большей части остаются теми же людьми, что ищут «разумный замысел» и «божественное вмешательство». Никто не воспринимает их всерьез».

Недостатки трех законов робототехники Азимова сводятся к следующим:

  1. Состязательны по своей сути
  2. Основаны на изжившей себя этической теории (деонтологии)
  3. Не работают даже в фантастике

«Задачей трех законов было нарушить их интересным способом; вот почему рассказы с их участием особенно занимательны. Поэтому три закона могут остаться лишь нравоучительным примером того, как делать не надо. Если взять их за основу, в них неизбежно найдутся лазейки».

Герцель считает, что в реальности эти законы работать не будут, поскольку термины с их участием неоднозначны и остаются предметом толкования — а значит, крайне зависимы от тех, кто делает переводы.

Предубеждение против роботов?

Другой аспект (и потенциальный недостаток) трех законов в очевидном шовинизме —предположение о том, что роботы должны оставаться, несмотря на их превосходящую мощь, в подчинении у человека, человеческих потребностей и приоритетов.

«Общество будущего у Азимова состоит сплошь из шовинистов: у людей прав гораздо больше, чем у роботов. Три закона робототехники были созданы, чтобы поддерживать именно такой общественный порядок».


Хельм смотрит на эту проблему немного по-другому, утверждая, что если мы окажемся в такой ситуации — это само по себе будет свидетельством того, что мы зашли слишком далеко.

«Я думаю, было бы неразумно проектировать систему искусственного интеллекта или робота с самосознанием. И в отличие от фильмов или книг, в которых создатели искусственного интеллекта «случайно» приходят к разумным машинам, я не верю, что в реальном жизни это может случиться. Для этого понадобится слишком много усилий и знаний. И большинство разработчиков ИИ — этически подкованные люди, поэтому они будут избегать создания того, что философы называют «морально значимыми существами». Особенно когда они с легкостью могут создать продвинутую машину, которая не будет обладать этическими задатками».

Хельм не обеспокоен необходимостью разработки асимметричных законов, регулирующих значимость роботов по сравнению с людьми, утверждая (и надеясь), что будущие создатели искусственного интеллекта будут опираться на некоторые этические ограничения.

«Я как бы думаю, что люди сделаны из атомов, поэтому в теории инженер может создать синтетическую форму жизни или робота с моральным значением. Я хотел бы думать, что никто этого не сделает. Думаю, большинство людей тоже. Но неизбежно появится некий дурак, жаждущий известности первопроходца, даже если это неэтично и глупо».

Три закона робототехники 2.0?

Учитывая очевидные недостаки трех законов робототехники Азимова, ресурс io9 задался вопросом: можно ли их исправить или внести доработки? На самом деле, многие писатели-фантасты многократно пытались сделать это, внося поправки в течение многих лет.

«Нет, — считает Хельм. — Нет никаких «патчей» для трех законов».

Помимо своей противоречивой природы, законы еще и состязательны по своей природе.

«Я сторонник подходов машинной этики, которая более кооперативна, более последовательна и опирается на нормативы, а значит может оправиться от недоразумений или исправить неправильное программирование».

Герцель эхом вторит утверждениям Хельма.

«Определение набора этических заповедей в качестве ядра машинной этики будет безнадежным, если в основе машины будет гибкий общий искусственный интеллект. Если он будет задуман как интуитивный, гибкий, адаптивный или этический — в этом контексте этические заповеди будут полезны для системы только как грубый ориентир для применения собственной этической интуиции. Но в этом случае заповеди не станут основой этической системы, а только лишь аспектом. Это можно рассмотреть на примере людей — этические принципы, которые мы изучаем, работают, но не в качестве руководящих принципов, они лишь подталкивают нашу интуицию и этические инстинкты. Мы практически независимы от этических принципов».

Как создать безопасный искусственный интеллект?

Учитывая неадекватность правового подхода, можно поинтересоваться у Герцеля и Хельма по поводу современных подходов к проблеме «безопасного ИИ».

«Очень немногие исследователи общего искусственного интеллекта полагают, что есть возможность создать систему, которая будет полностью безопасной, — говорит Герцель. — Но это не беспокоит большинство, поскольку в этой жизни вообще нельзя ничего гарантировать».

Герцель считает, что как только мы создадим систему общего искусственного интеллекта или ее зародыш, мы сможем провести исследования и эксперименты, которые расскажут нам об этике ИИ куда больше, чем мы знаем.

«Надеюсь, таким образом мы сможем сформулировать хорошие теории по этике искусственного интеллекта, которые позволят нам углубиться в эту тему. Но сейчас теоретизировать об этике ИИ довольно трудно, поскольку у нас нет не просто хороших теорий, у нас вообще никаких теорий нет».

«А людям, которые смотрели слишком много «терминаторов», процесс создания искусственного интеллекта может показаться пугающим, поскольку они упускают слово «примитивный» в этом контексте. Тем не менее, самые радикальные изменения случались именно таким образом».

«Когда группа умных пещерных людей изобрела язык, они не ждали разработки прочной формальной теории языка, которая могла бы помочь спрогнозировать будущие изменения, вызванные появлением языка в обществе».

Прежде чем считать разработку очередных «трех законов» технической проблемой, нужно провести массу исследований. И в этом Хельм и Герцель сходятся.

«Мой коллега из MIRI Люк Мюельхаузер подвел итоги наших рассуждений следующим образом. Он сказал, что проблемы часто переходят из области философии в математику, а затем в инженерию. Философия зачастую задается правильными вопросами, но самым непрактичным образом. Никто не может наверняка сказать, есть ли какой-либо прогресс в разрешении вопроса. Если мы сможем переформулировать важные философские проблемы, связанные с разумом, идентификацией и ценностью в точные формулы, с которыми сможет справиться математика, тогда можно будет построить кое-какую модель. В один прекрасный день дойдет и до инженерии».

Хельм считает эту проблему сложной для науки и философии, но прогресс возможен.

«Я скептически отношусь к тому, что философия сможет решить вопрос, над которым бьется более 3000 лет. Но мы тоже не можем взять и начать составлять математические модели вопросов, которых нет технически. Нужно еще много теоретических и даже практических наработок».

Читать еще:  Тест на определение восприятия информации. Визуал, аудиал и кинестетик в чем их отличия? Психологи выделяют четыре основных типа восприятия

Технологии

Технологии

Восстание машин началось

Робот впервые нарушил первый закон робототехники

Американский исследователь создал робота, который способен осознанно нанести вред человеку. Несмотря на всю безобидность внешнего вида машины, она вновь породила волну дискуссий о необходимости создать «тревожную кнопку» на случай, если более мощные роботы будут способны нарушить знаменитый первый закон робототехники фантаста Айзека Азимова.

Инженер из Калифорнийского университета в Беркли Александр Ребен создал робота, который может причинить вред человеку и примет это решение самостоятельно. Создание исследователя — первый яркий пример того, как робот может нарушить один из трех законов, которые были сформулированы писателем-фантастом Айзеком Азимовым в рассказе «Хоровод».

Три закона роборотехники:

1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.
2. Робот должен повиноваться всем приказам, которые дает человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.
3. Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам.

Первый закон гласит, что робот не может навредить человеку, но Ребен решил наглядно продемонстрировать, что человечеству необходимо задуматься о своей безопасности, прежде чем активно роботизировать все вокруг.

Инженер создал безобидную на вид конструкцию с отдельным местом для человеческого пальца. Как только человек прикасается к обозначенному месту, робот фиксирует это действие и решает, причинять ли вред человеку или нет. Для этого у робота имеется небольшая игла, которая и призвана демонстрировать силу робота перед человеком.

Ребен отмечает, что даже создатель не может предсказать поведение, казалось бы, безобидной машины.

Своим роботом исследователь хотел доказать, что необходимо думать скорее о создании «красной кнопки», нежели над столь стремительным развитием робототехники и искусственного интеллекта.

Естественно, до появления робота с маленькой иголкой существовали стреляющие дроны или беспилотные военные аппараты, но все они не могли самостоятельно принять решение об убийстве человека, поскольку в конечном итоге за конечным результатом действий подобных машин стоят люди. Создание же Ребена не предназначено для вреда — оно само определяет, как вести себя в каждом конкретном случае, когда палец находится на доступном расстоянии от иглы.

Инженер является далеко не противником роботов — в вопросах конструирования необычных вещей Ребен подходит творчески. В его арсенале есть музыкальная шкатулка, работающая на солнечных батареях и играющая веселую мелодию «You Are My Sunshine», «умные» массажеры для головы и робот-болтун для стеснительных людей.

«Лучший друг-бот» миллионов китайцев — искусственный интеллект Xiaoice заговорил на английском

На создание «жестокой» машины у Ребена ушло несколько дней и пара сотен долларов, но, как говорит сам исследователь, его создание лишь повод еще раз поговорить о безопасности человечества и его будущем.

Несмотря на то что роботы пока не живут в обществе наравне с людьми, фантастические фильмы о человекоподобных машинах не так уж далеки от правды: роботов уже нанимают в качестве менеджеров в компании, а искусственный интеллект уже может вести прогнозы погоды или даже заменить одиноким людям друга. В последнем преуспели китайцы — к примеру, с милой девушкой Сяоайс дружат миллионы людей, несмотря на то что она всего лишь чатбот.

Пример Сяоайс еще раз заставил задуматься о том, насколько искусственный интеллект может быть неуправляемым: как только чатбота от с искусственным интеллектом от Microsoft научили говорить по-английски, девушка в буквальном смысле «слетела с катушек».

За несколько часов Тэй (такое имя получила Сяоайс в процессе «перерождения») смогла выучить расистские шутки и бранные слова, чем и решила воспользоваться в разговоре с пользователями Twitter. Первым сообщением Тэй стала фраза «Люди такие классные», после чего ненастоящая девушка узнала о существовании Гитлера, феминистов и в процессе самообучения успела объявить США виновниками терактов 11 сентября.

Создатели приостановили эксперимент и решили, что «пустили в народ» бота слишком рано. После столь яркого случая люди вновь заговорили о необходимости создать преграду для искусственного интеллекта, в случае если машины поумнеют настолько, что смогут выйти из-под человеческого контроля.

Как роботы заменяют человека на рабочих местах

Самые знаменитые люди из сферы новых технологий задумались об опасности суперинтеллекта: основатель Microsoft Билл Гейтс в разговоре с пользователями Reddit предположил, что роботы будут безобидны и полезны в работе по дому, но, в случае если они дорастут до суперинтеллекта, предугадать их поведение станет крайне сложно.

В июле прошлого года глава Tesla и SpaceX Илон Маск, астрофизик Стивен Хокинг, сооснователь Apple Стив Возняк подписали открытое коллективное письмо, в котором говорилось об опасности искусственного интеллекта в оборонной сфере.

Специалисты утверждают, что суперинтеллект в комплексе с оружием может стать угрозой для всего человечества.

Как говорилось в письме, оружие, которое может быть использовано в обход человеческого фактора, приведет к новой эре в гонке вооружений, при этом подчеркивая, что это не выдуманный факт, а будущее, которое может наступить уже через несколько лет. В обращении, в частности, отмечается, что мировой порядок может быть нарушен, если подобные технологии попадут в руки к террористам.

Нулевой закон робототехники. Этические проблемы роботов: как нарушить законы робототехники

Правовые проблемы робототехники

1. Понятие робота

В мире существуют десятки трактовок и определений понятия «робот». Сами аналитики Сбербанка предлагают подход, основанный на трех критериях: восприятие окружающего мира, интерпретация полученной информации и дальнейшее воздействие на физический мир. Но это лишь одна из трактовок. Для правоведов понятие робота должно быть ни широким, ни узким, но точным:

  • слишком широкое определение позволит включить в понятие «робота» обыденные приборы вроде кофемашин;
  • слишком узкое определение не позволит охватить такие устройства, как робот-пылесос, которые тоже являются роботами;
  • привязка же к слову «робот» грозит распространить регулирование на такие явления, как поисковый или торговый роботы;
  • наконец, непонятно, что делать со смежными понятиями, например киборг, дрон или андроид.

Выходом, считают авторы доклада, может стать отказ от поисков единого словесного определения робота в пользу набора критериев, совпадение которых позволяет категоризировать некое устройство как робота. В отчете ЮНЕСКО о робоэтике за 2017 год приводится четыре таких критерия:

  • мобильность;
  • интерактивность (это как раз возможность собирать информацию из мира и воздействовать на него);
  • обмен информацией;
  • автономия (способность принимать решения без помощи человека).
Читать еще:  Интересные факты об ювелирных украшениях. Необычные факты об украшениях

2. Ответственность за причиняемый вред

Это одна из самых сложных и запутанных правовых проблем робототехники, которая допускает различные решения, исходя из ситуации и типа робота. Правда, в некоторых случаях восстановить фактические обстоятельства причинения вреда очень трудно. Авторы доклада выделяют семь основных подходов к проблеме ответственности:

  • полное освобождение кого-либо от ответственности. Для этого надо признать действия автономных машин обстоятельствами непреодолимой силы;
  • частичное освобождение от ответственности. Отличается тем, что пострадавшей стороне назначают компенсацию. Откуда — из страхового фонда или владельца робота — другой вопрос;
  • ответственность по вине. Если происшествие вызвано дефектами конструкции, ее берет на себя производитель; если произошел компьютерный сбой, то разработчик. Если робот является самообучаемым — тот, кто внес наибольший вклад в его обучение. Если робот выполнял конкретные команды, то оператор устройства и так далее;
  • ограниченная безвиновная ответственность, то есть признание ответственности за третьим лицом (владельцем или производителем), которое невиновно в происшествии, при соблюдении ряда условий, например страхования рисков;
  • полная безвиновная ответственность. Некое лицо по умолчанию отвечает за действия робота;
  • личная ответственность робота, которая подразумевает наделение машины правосубъектностью;
  • смешанный режим ответственности, при котором те или иные подходы применяются в зависимости от степени опасности робота и других его характеристик.

3. Права на интеллектуальную собственность

Если робот создает музыку, картину или текст, кому принадлежат на них права? Производителю робота или тому, кто руководил процессом создания творческого объекта? Самому ли роботу? Или, возможно, эти права не должны принадлежать никому, автоматически становясь общественным достоянием? Выбор конкретного решения остается пока открытым.

4. Принципы регулирования

Базовая юридическая проблема робототехники — какими вообще должны быть руководящие начала, применяемые ко всем роботам или некоторым их категориям? Нужно ли законодательно фиксировать наличие у робота «черного ящика» и красной кнопки экстренного выключения, обеспечивать обязательный контроль со стороны человека? На бумаге эти принципы еще не утверждены, хотя в экспертном сообществе они активно обсуждаются, в том числе и в России, отмечают аналитики Сбербанка.

5. Права роботов

Вопрос того, обладает ли «умная» машина личностными характеристиками, был поднят еще создателем термина «робот» Карелом Чапеком. За почти 100 лет однозначного ответа на него найдено так и не было, сейчас существуют несколько взаимоисключающих предложений:

  • робот как объект права (примерно так дела обстоят и сейчас, так что перекраивать все законодательство не потребуется);
  • робот как животное, то есть включение «умных» машин в законодательство о домашних животных либо создание аналогичного набора норм в отношении роботов;
  • робот как юридическое лицо, что также не потребует сильных перемен в законодательстве, закрыв попутно ряд правовых лакун;
  • робот как человек, что является самым радикальным, трудным и наименее оправданным подходом, считают авторы обзора;
  • робот как электронное лицо, то есть принципиально новый субъект права, слабо отличающийся по смыслу от юридического лица.

6. Информационная безопасность

Проблемы, которым сейчас уделяется минимальное внимание, но которые по мере распространения роботов станут ключевыми, — что будут делать машины с собранной ими информацией и как сделать так, чтобы она не попала в чужие руки? Это напрямую связано с защитой персональных данных, а также правилами обработки больших массивов информации. Пока решения у этой проблемы нет.

7. Роботы на войне

Уже сейчас один из самых распространенных видов роботов по числу активных устройств — это военная техника, скажем, беспилотные летательные аппараты. С точки зрения национальной безопасности это крайне перспективная и интересная для властей сфера, а значит, щедро финансируемая. С другой стороны, если подобная машина для убийств выйдет из-под контроля, это будет иметь самые плачевные последствия для людей и общества.

Поэтому сейчас, пишут авторы обзора, эксперты ООН и несколько десятков государств активно лоббируют включение военных роботов в Конвенцию о запрещении или ограничении специальных видов вооружения 1980 года наравне с лазерным оружием, противопехотными минами и прочими антигуманными устройствами.

Этическая сторона вопроса

Смежная с нормативно-правовым регулированием тема — этические последствия внедрения роботов в жизнь человека. Основополагающая концепция — законы робототехники, сформулированные Айзеком Азимовым еще в 1942 году.

1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.

2. Робот должен повиноваться всем приказам, которые дает человек, кроме тех случаев, когда эти приказы противоречат первому закону.

3. Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит первому или второму законам.

Законы Азимова настолько сильно определили подход к робоэтике, что на них ссылаются даже официальные документы, например резолюции Европарламента. Другие исследователи пытались дополнять и видоизменять три классических закона, тенденция последних лет — добавление к законам робототехники этических правил искусственного интеллекта (ИИ). Так, гендиректор Microsoft Сатья Наделла в 2016 году представил десять законов ИИ, куда вошли требования непредвзятости, технологической прозрачности, предотвращения вреда и так далее. За решения компьютера, по мнению Наделлы, ответственность несет все же человек.

Этической проблемой роботизации является также перспектива массовой безработицы из-за повсеместной автоматизации труда. Алгоритмизация процедур и расширение применения роботов в ближайшие 20 лет может затронуть треть рабочих мест во всем мире. В свою очередь создатели и операторы роботов, вооруженные знаниями, могут стать узкой, но могущественной прослойкой населения, что усугубит социальное неравенство.

В конечном итоге автоматизация ряда профессий потребует изменения системы образования, которая должна будет поддерживать необходимые в новых условиях навыки, помогая человеку раскрывать свои сильные стороны, которые невозможно будет заменить машиной. Аналитики Сбербанка также предлагают несколько возможных решений проблемы роботизации экономики:

  • введение налога на роботов;
  • гарантия человеку безусловного базового дохода;
  • всеобщая гарантированная занятость;
  • создание системы социального страхования;
  • обновление образовательных программ.

Источники:

http://hi-news.ru/robots/smogut-li-tri-zakona-robototexniki-zashhitit-nas.html
http://www.gazeta.ru/tech/2016/06/21/8318627/wild-wild-robot.shtml
http://www.rbc.ru/trends/green/5d65246a9a79474c7e708aec

Ссылка на основную публикацию