К вопросу о соответствии автономных интеллектуальных систем вооружений принципам международного гуманитарного права

Размещено на http://www.allbest.ru/

К вопросу о соответствии автономных интеллектуальных систем вооружений принципам международного гуманитарного права

Морхат Петр

Настоящая статья посвящена применению искусственного интеллекта с точки зрения международного гуманитарного права. В статье рассмотрены особенности применения и возможные меры по регламентации использования автономных интеллектуальных систем вооружений в рамках международного гуманитарного права. Сделан вывод, что их применение нормами международного гуманитарного права непосредственно не урегулировано, и высказаны идеи относительно юридического решения описанной проблемы. искусственный интеллект вооружение право

В настоящее время с учётом интенсивности развития новых инновационных технологий весьма актуальным является вопрос о том, соответствует ли (и насколько) использование искусственного интеллекта принципам международного гуманитарного права.

Речь в данном случае идёт главным образом о применении автономных систем вооружений, оснащённых искусственным интеллектом.

Если говорить о правовом регулировании развития и применения технологий искусственного интеллекта на международном уровне в рамках традиционных отраслей международного права, то, как отмечает Джон Уивер, анализ практически каждой отрасли международного права и каждого института, на которые может оказать воздействие использование искусственного интеллекта, таких как государственный суверенитет, международное морское право и т. д., показывает, что ни одна из этих отраслей не решает вопросы, непосредственно связанные с искусственным интеллектом [10].

Уже сегодня имеющее место применение подобных автономных систем вооружений в рамках вооружённых конфликтов и контртеррористических операций поднимает серьёзные этические вопросы. В частности, вопрос о том, позволяют ли принципы гуманности принимать машинам решения (доверять машинам принимать такие решения) по поводу жизни и смерти в рамках вооружённых конфликтов без участия человека в процессе принятия таких решений [9].

В настоящее время вопросы применения искусственного интеллекта и автономных систем вооружений нормами международного гуманитарного права непосредственно не урегулированы.

Хотя исследователи в рассматриваемой сфере часто оперируют такими понятиями, как «искусственный интеллект», «робототехника» и «автономные системы вооружения», данные термины по своему содержанию не являются тождественными даже применительно к военной сфере, хотя и схожи во многом.

Далее обратимся к выяснению и разъяснению соотношения указанных понятий.

Автономные системы вооружений используются уже сейчас. Международный комитет Красного Креста определяет такую систему как «систему вооружений с автономией в её важнейших функциях. То есть система вооружения способна отбирать (т. е., искать или обнаруживать, идентифицировать, отслеживать, выбирать) и селективно атаковать (т. е., использовать силу, нейтрализовать, разрушать или уничтожать) цели без непосредственного человеческого вмешательства» [9].

Ключевой характеристикой таких систем, которая может объединять, по сути, совершенно разные виды оружия, является именно их автономность, т. е., независимость в определённых аспектах от действий человека.

Р. Гейсс отмечает, что в настоящее время нет универсального определения автономных систем вооружений, однако все существующие определения сходятся в том, что в качестве решающего критерия автономности системы вооружения выступает уровень способности принимать решения посредством только алгоритмов без вмешательства человека. Поэтому автономия не должна пониматься здесь в морально-философском её смысле свободной воли индивида [4].

Автономность является и важнейшей функцией систем искусственного интеллекта, которые при этом наделены и иными способностями, например, способностью к самообучению.

При этом, как отмечается в различных исследованиях, оружие с действительно полноценным искусственным интеллектом пока не создано, хотя и его создание весьма вероятно в обозримой перспективе.

Так, эксперты предсказывают вероятность разработки в течение 20 - 30 лет автономных вооружений, способных выбирать цели и взаимодействовать с ними без участия человека. И хотя сейчас об этом говорится в ключе того, что человек всегда будет обеспечивать контроль над принятием решений о применении смертоносной силы, всё равно существует вероятность того, что робот сможет (будет иметь возможность) сделать такой выбор самостоятельно. Оружие такого рода не будет соответствовать нормам международного гуманитарного права и, очевидно, увеличит риски причинения смерти или вреда здоровью мирному населению в период вооружённого конфликта [7].

В п. 623 Сводной доктрины Великобритании 2011 г. «Подход Соединённого Королевства к беспилотным летательным аппаратам» отмечается, что истинный искусственный интеллект, благодаря которому машина будет обладать способностью мыслить, аналогичной или большей, чем человеческая, будет, несомненно, полным изменением игры не только в военной отрасли, но и во всех аспектах современной мысли, а изменение парадигмы технологий искусственного интеллекта было бы разрушительным при их военном применении [5].

На наш взгляд, вызовы международному гуманитарному праву, создаваемые или обуславливаемые использованием автономных систем вооружений, во многом могут быть схожи с проблемами, создаваемыми использованием таких систем, оснащённых искусственным интеллектом, с тем лишь различием, что последствия применения последних могут быть более серьёзными в силу их способности самообучаться, в том числе и в рамках взаимодействия при определённых условиях с другими системами искусственного интеллекта, которая ещё более снижает степень их подконтрольности человеку.

Далее в настоящей статье под автономными системами вооружения будут пониматься в том числе и системы, оснащённые искусственным интеллектом. Также далее будет использоваться в аналогичном значении понятие автономных интеллектуальных систем вооружений. Под роботами будем понимать все автономные системы вооружений.

В настоящее время вопросы применения искусственного интеллекта, а также вопросы, связанные с принятием решений машинами, почти не затрагиваются международным правом [10].

Лишь сравнительно недавно началось принятие соответствующих мер, направленных в основном на определение границ и рамок правового регулирования использования систем искусственного интеллекта. Нет оснований пока говорить и о полноценном отраслевом международно-правовом регулировании, в том числе с точки зрения международного гуманитарного права.

Международное гуманитарное право нацелено на защиту человеческого достоинства и защиту жертв вооружённого конфликта посредством введения различных ограничений на применение силы, в частности запрещения использовать определённые средства и методы ведения войны.

Подобно некоторым другим новым технологиям, автономные системы вооружений бросают вызов традиционным представлениям относительно применения силы, на которых основаны соответствующие международно-правовые стандарты [2].

Использование такого рода технологий - это принципиально новая проблема с точки зрения международного гуманитарного права, поэтому не совсем ясно на настоящий момент, к какому именно из направлений данной отрасли права её относить, и соответственно не ясно, какими методами и инструментами корректнее её решать.

Отметим, что если повреждения, наносимые такими системами, не направлены непосредственно на причинение излишних повреждений или излишних страданий, то они не подпадают под действие соответствующего запрета, предусмотренного ст. 35 Дополнительного протокола к Женевским конвенциям от 12 августа 1949 г., касающегося защиты жертв международных вооружённых конфликтов (Протокол I) от 8 июня 1977 г.

Не подпадает, на наш взгляд, использование такого оружия и под действие положений ст. 37 указанного Протокола, запрещающих вероломство.

Ключевым свойством автономных систем вооружений, которое обусловливает вообще отдельное их рассмотрение с точки зрения международного гуманитарного права, является их существующая и потенциальная неподконтрольность человеку, которая может приводить к разрушительным последствиям, и с этой точки зрения можно рассматривать такое неподконтрольное человеку оружие как способное нанести вред гражданскому населению, а также чрезмерный вред комбатантам.

Часть 4 ст. 51 Протокола I запрещает нападения неизбирательного характера для целей обеспечения защиты гражданского населения.

Согласно п. «в» ст. 23 Положения о законах и обычаях сухопутной войны (приложение к Конвенции о законах и обычаях сухопутной войны от 18 октября 1907 г.) запрещается убивать или ранить неприятеля, который, положив оружие или не имея более средств защищаться, безусловно сдался.

В качестве одного из ключевых положений международного гуманитарного права здесь также отметим пункт преамбулы к Конвенции о законах и обычаях сухопутной войны от 18 октября 1907 г., согласно которому впредь до того времени, когда представится возможность издать более полный свод законов войны, Высокие Договаривающиеся Стороны считают уместным засвидетельствовать, что в случаях, не предусмотренных принятыми ими постановлениями, население и воюющие остаются под охраною и действием начал международного права, поскольку они вытекают из установившихся между образованными народами обычаев, из законов человечности и требований общественного сознания.

Автономная система вооружения, оснащённая искусственным интеллектом, не в состоянии учитывать законы человечности.

Необходимо также учитывать следующее. Для того чтобы автономная система вооружения считалась используемой для ведения военных действий, человеческие агенты воюющей стороны должны осуществлять непосредственный контроль над этой системой, чтобы использовать её в качестве средства ведения войны [2], т. е. не на всякое совершение действий автономной системой вооружения даже в рамках вооружённого конфликта будет распространяться действие положений и требований международного гуманитарного права.

Основу для правового анализа особенностей и способов применения новейших вооружений составляет ст. 36 Протокола I, которая посвящена новым видам оружия.

Статья 41 Протокола I предусматривает запрет подвергать нападению лицо, которое признано или которое в данных обстоятельствах следует признать лицом, вышедшим из строя.

При этом, согласно данной статье, вышедшим из строя считается любое лицо, если оно:

- находится во власти противной стороны;

- ясно выражает намерение сдаться в плен; или

- находится без сознания или каким-либо другим образом выведено из строя вследствие ранения или болезни и поэтому не способно защищаться, при условии, что в любом таком случае это лицо воздерживается от каких-либо враждебных действий и не пытается совершить побег.

При этом сомнительно, чтобы автономная интеллектуальная система вооружения была самостоятельно способна надёжно распознать различия между воюющим комбатантом и комбатантом, вышедшим из строя, поскольку для этого система вооружения должна уметь отмечать жесты, выражения лиц и эмоции и правильно их оценивать [4].

Относительно ответственности за причинение ущерба автономными интеллектуальными системами вооружений международное гуманитарное право, в частности его положения, касающиеся ответственности государств (в том числе ст. 91 Протокола I), не содержит никаких прямых указаний относительно того, как следует трактовать использование автономных интеллектуальных систем вооружений, но в то же время и не устанавливает напрямую, что государство не несёт ответственности за действия таких систем [10].

Автономное оружие должно быть ограничено в дальности и боевой мощи, а также должно быть способно различать законные и незаконные цели. В любом случае автономное оружие никогда не должно использоваться в отношении гражданского населения, применять его может быть возможно исключительно в ситуациях, когда высока вероятность того, что все цели законны. Более того, такое оружие должно быть оснащено механизмами нейтрализации, позволяющими выключить его в любой момент, даже если такая функция ограничит его боевую эффективность [6].

Гражданское население никогда не может быть легитимной целью нападения в рамках международного конфликта, и соответственно возникает серьёзный вопрос относительно способности автономной интеллектуальной системы разграничивать комбатантов и гражданское население, поскольку такое разграничение требует применения очень сложных процессов оценки. И это связано с тем, что это вопрос не просто идентификации вражеского оружия или униформы, но и интерпретации поведения человека [4].

Важно отдавать себе отчёт в том, что автономная система вооружения также не обладает эмоциями сострадания или милосердия. Кроме того, машина не может руководствоваться принципами соразмерности и военной необходимости, надлежащее применение которых существенно зависит от контекста определённой ситуации, а также является субъективным [3].

При этом Джон Уивер отмечает, что стандарт применения автономных интеллектуальных систем вооружений, согласно которому они должны никогда не ошибаться при различении комбатантов и гражданского населения, кажется не совсем корректным, так как даже люди не всегда могут его придерживаться [10].

Одной из проблем, связанных с использованием полностью автономных систем вооружений, также является некоторая вероятность возникновения угрозы для существования человека в силу того, что эти системы могут выйти из-под его контроля [3].

Кроме того, непредсказуемость сложных алгоритмов, реагирующих друг на друга, может приводить к мало контролируемой (и непредсказуемой) эскалации военного конфликта [4].

В целом при рассмотрении данного вопроса специалисты сходятся в том, что для решения указанных проблем необходимо обеспечение надлежащего человеческого контроля над действиями автономной системы вооружения.

В силу высокой актуальности рассматриваемой темы разработка принципов использования искусственного интеллекта в военных целях привлекает значительный интерес как исследователей, так и международных организаций.

Международный комитет Красного Креста отмечает, что существует как минимум три подхода, которые государства могут реализовывать для решения правовых и этических проблем, связанных с использованием автономного оружия:

* усиление национальных механизмов реализации положений международного гуманитарного права;

* разработка определения того, что представляют собой смертоносные автономные системы вооружений для установления конкретных ограничений на автономность систем вооружений;

* разработка конкретных параметров человеческого контроля за использованием такого оружия с учётом требований международного гуманитарного права и этических соображений для установления конкретных ограничений на автономность систем вооружений [9].

Алан Шуллер предлагает следующие принципы использования искусственного интеллекта во время военных действий, соблюдение которых позволит избегать ненадлежащей автономности искусственного интеллекта и соответственно нарушения требований и принципов международного гуманитарного права:

- решение убить принципиально никогда не может быть (и не должно быть) в полной мере делегировано компьютеру (поскольку цель может быть атакована только в том случае, если она является законной военной целью, а корректно классифицировать цели в состоянии только человек);

- автономная система вооружения может законно контролироваться только посредством программирования (для того, чтобы обеспечить разумную предсказуемость искусственного интеллекта);

- необходимо учитывать, что международное гуманитарное право не требует непосредственного взаимодействия человека с автономной системой вооружения в процессе смертоносного кинетического действия, т. е. «нажатия на кнопку» (такое требование было бы эффективным в некоторых ситуациях, однако оно не закрепляется; утверждение, что всегда желательно присутствие человека на этапе действия при реализации смертоносных решений, терпит неудачу, во-первых, по той причине, что системы, требующие участия человека на финальных этапах реализации смертоносных решений, скорее всего, не смогут в будущем конкурировать с более автоматизированными сложными системами противников, во-вторых, потому что обслуживаемые или пилотируемые человеком системы требуют слишком много человеческих и финансовых ресурсов, в том числе на обеспечение необходимого обучения и подготовки человеческих ресурсов, и в-третьих, из участия человека в таких действиях не следует автоматическое соблюдение норм международного гуманитарного права, т. е. сам факт того, что именно человек нажимает на кнопку, чтобы одобрить смертоносное кинетическое действие либо отказаться от него, не обязательно непосредственно коррелирует с совершенствованием соблюдения положений международного гуманитарного права);

- разумная предсказуемость автономной интеллектуальной системы вооружения требуется только в целях соблюдения международного гуманитарного права, но будет зависеть от конкретного фрагмента цикла принятия решений человеком, состоящего из элементов «наблюдение, ориентирование, принятие решения, совершение действия», делегированного автономной системе вооружения (т. е. предел возможной непредсказуемости автономной системы заканчивается там, где начинается вероятность совершения незаконного действия) [8].

Отметим, что полный запрет использования подобных систем вооружений на международном уровне весьма маловероятен.

Хотя как вариант могут быть внесены изменения в Конвенцию о запрещении или ограничении применения конкретных видов обычного оружия, которые могут считаться наносящими чрезмерные повреждения или имеющими неизбирательное действие, посредством включения в неё раздела про роботизированное оружие [6].

Дж. Кастел и М. Кастел отмечают, что, возможно, вместо установления на международном уровне запретов или ограничений для государств относительно исследования или разработки суперинтеллекта посредством принятия соответствующих международных конвенций, контроль за исполнением которых может быть ещё и затруднен, эффективнее было бы создать основу для сотрудничества государств в этой области. Такое сотрудничество снизило бы вероятность возникновения межгосударственных конфликтов на фоне одновременных попыток отдельных стран разработать конкурирующие автономные суперинтеллектуальные машины. По мнению данных исследователей, с точки зрения международного права искусственный суперинтеллект следует рассматривать как достояние всего человечества [3]. И в таком случае на него должен распространяться соответствующий правовой режим по аналогии, например, с исследованием космического пространства или Антарктики.

Армин Кришнан предлагает следующие принципы регулирования использования автономных интеллектуальных систем вооружений: 1) запрет создания систем автономных вооружений, способных вносить изменения в свой собственный программный код, что исключает использование эволюционирующего или самообучающегося искусственного интеллекта для управления оружием; 2) запрет на использование сверхразумных компьютеров в военных целях, поскольку могут возникнуть сложности с принудительным ограничением их действия; 3) обеспечение слабой связи с внешним миром сверхразумных военных компьютерных систем, а также предлагает установление запрета на разработку самовоспроизводящегося оружия (которое на настоящий момент серьёзной угрозы не представляет (помимо биологического оружия), но может стать реальностью в ближайшие десятилетия) [6].

В нашей авторской научной концепции дефиниция понятия «искусственный интеллект» следующая:

Искусственный интеллект - это полностью или частично автономная самоорганизующая компьютерно-программная виртуальная (virtual) или киберфизическая (cyber-physical), в том числе биокибернетическая (bio-cybernetic), система (юнит), наделённая/обладающая способностями и возможностями:

* антропоморфно разумных мыслительных и когнитивных действий, таких, как распознавание образов, символьных систем и языков, рефлексия, рассуждение, моделирование, образное (смыслопорождающее и смысловоспринимающее) мышление, анализ и оценка;

* самореферентности, саморегулирования, самоадаптирования под изменяющиеся условия, самоограничения, и при этом поддержания себя в гомеостазе;

- генетического поиска (genetic algorithm - эвристический алгоритм поиска, с сохранением важных аспектов «родительской информации» для «последующих поколений» информации), накопления информации и опыта;

- обучения и самообучения (в том числе на своих ошибках), опыта;

- самостоятельной разработки текстов под собственное тестирование, проведения самотестирований и тестирований компьютерной и, при возможности, физической реальности, самостоятельной разработки и применения алгоритмов собственной омологации;

- антропоморфно разумного самостоятельного (в том числе творческого) принятия решений и решения задач и проблем.

Оружие, оснащённое искусственным интеллектом, уже сегодня существует и даже ограниченно применяется, представляя собой, по мнению многих экспертов, одну из самых серьёзных этических и технологических проблем XXI в.

И для того чтобы обеспечить соблюдение требований и принципов международного гуманитарного права, необходимые меры должны приниматься в первую очередь на уровне законодательства конкретных государств, причём они должны быть направлены на регулирование разработки и применения искусственного интеллекта не только в военных целях, но и в целом, поскольку излишняя автономность и неподконтрольность таких систем человеку может привести к негативным последствиям в большинстве сфер общественной жизни.

ЛИТЕРАТУРА

1. Balkin J.B. The Path of Robotics Law // California Law Review. - 2015, June. - Vol. 6. - P. 45 - 60.

2. Brehm M. Defending the Boundary: Constraints and Requirements on the Use of Autonomous Weapon Systems Under International Humanitarian and Human Rights Law // Academy briefing. - 2017, May. - № 9. - 71 p.

3. Castel J.-G., Castel M.E. The road to artificial superintelligence: has international law a role to play? // Canadian Journal of Law and Technology. - 2016. - Vol. 14. - № 1. - P. 1 - 15.

4. Geiss R. The International-Law Dimension of Autonomous Weapons Systems // International Dialogue department of the Friedrich-Ebert-Stiftung. [Электронный ресурс]. - Режим доступа: http://library.fes.de/pdf-files/id/ipa/11673.pdf (дата обращения 18.02.2018).

5. Joint Doctrine Note 2/11 “The UK approach to unmanned aircraft systems” // Ministry of Defence of UK. - Swindon: The Development, Concepts and Doctrine Centre, 2011.

6. Krishnan A. Automating war: The need for regulation // Contemporary Security Policy. - 2009. - Vol. 30. - № 1. - P. 172 - 193.

7. Losing humanity: The Case against Killer Robots / Human Rights Watch. - New York: Human Rights Watch, 2012. - 49 p.

8. Schuller A.L. At the Crossroads of Control: The Intersection of Artificial Intelligence in Autonomous Weapon Systems with International Humanitarian Law // Harvard National Security Journal. - 2017. - Vol. 8. - P. 379 - 425.

9. Views of the International Committee of the Red Cross (ICRC) on autonomous weapon system // Convention on Certain Conventional Weapons (CCW), Meeting of Experts on Lethal Autonomous Weapons Systems (LAWS) 11 - 15 April 2016, Geneva. [Электронный ресурс]. - Режим доступа: https://www.icrc.org/en/download/file/21606/ccw-autonomous-weapons-icrc-april-2016.pdf (дата обращения 18.02.2018).

10. Weaver J.F. Abhor a Vacuum: The Status of Artificial Intelligence and AI Drones Under International Law // New Hampshire Bar Journal. - 2013, Spring/Summer. - P. 14 - 21.

Размещено на Allbest.ru