Эволюция роботов и право XXI века

Скорее всего, на определенном этапе развития технологий придется пойти по пути создания юридической личности (юридического лица в его классическом понимании). С советского времени мы тяготеем к узкому определению юридического лица как некой организации (ст. 48 Гражданского кодекса Российской Федерации), между тем есть и иная точка зрения, согласно которой юридическое лицо - это лицо, не являющееся человеком («всякое отвлеченное понятие, которому присваиваются права и обязанности» [81. С. 50], «все лица в юридическом смысле, которые не суть человеческие существа» [82. С. 17], «все то, что не будучи человеком способно состоять правовым субъектом» [83. С. 1-2]). Через конструкцию юридического лица в принципе можно наделить субъектно- стью любой феномен (природный объект, живое существо, вымышленного субъекта).

При использовании такого приема может возникнуть ложное чувство определенности, связанное с восприятием конструкции юридического лица в сегодняшних представлениях о нем. Оно состоит в том, что за искусственно сконструированным лицом, не существующим в реальности, всегда «проглядывает» человек. Соответственно, он и остается истинным действующим лицом. Ошибочность данного предположения заключается в том, что разумный робот - вовсе не аналог животного или какого-либо известного правовой науке искусственного (вымышленного) лица. В силу своей разумности, автономности, чело- векоподобности он не похож ни на что, известное ранее. Это новый участник социальной жизни, способный - независимо от человека и непредсказуемо для него - действовать во внешнем мире. И при всей стандартности подхода к созданию нового субъекта его реализация невозможна без формирования новых институтов, очертания которых еще не столь отчетливы и будут открываться для юридической действительности по мере развития действительности технологической. Среди проблем, затрудняющих законодательные решения в сфере искусственного интеллекта, в литературе обоснованно отмечаются опережающее развитие технологий (по сравнению с регулированием) и ограниченность механизмов обеспечения соблюдения правовых норм [84].

При этом несложно подобрать термин для обозначения нового субъекта: «электронное лицо», «механическое лицо», «биомеханическое лицо» - строго говоря, большого значения это не имеет. Важно, каким объемом прав это производное от человека лицо будет им наделено. Не потерял актуальности тезис Л. Уэйна об иерархии правовых статусов роботов, когда наиболее продвинутые устройства смогут подняться выше статуса юридического агента и - по аналогии с корпорациями - быть наделены достаточно весомым объемом прав и обязанностей [53. С. 109]. Видимо, разные роботы получат различный объем прав. Так, электронное / механическое лицо определенного (высокого) уровня интеллекта и главное - автономности может быть наделено правами на ма- шинно-генерируемое произведение, что позволит учесть специфику указанных прав, особенности их реализации и доступа к таким произведениям. Важно и то, как будет описана имущественная сфера, возможности этого лица (к примеру, обязательность наделения фондами, поддерживаемыми на установленном в законе уровне, при отсутствии которых может вставать вопрос о прекращении существования такого лица).

Еще большее значение будет иметь, каким образом и насколько за этой новой личностью будет «проглядывать» человек или в перспективе его присутствие будет в максимально возможной степени «стерто»? Пока представляется возможным следующее решение: каждому сложному, наиболее конструктивно-развитому электронному / механическому лицу должен назначаться «опекун», что позволит в том числе разрешать вопросы судебного представительства. Для определенной категории роботов это должны быть квалифицированные лица, несущие ряд обязанностей публичного характера. Такая конструкция поможет исключить коллизии между множественностью субъектов, которые имеют отношение к роботу и потенциально ответственны за последствия его действия (бездействия). Все указанные изменения повлекут совершенствование не только гражданского законодательства, но и норм различных публичных отраслей законодательства.

Особый вопрос - сам порядок «рождения» новой личности. В силу ее производного характера и специфики появления здесь должно быть жесткое регулирующее начало: новое лицо может считаться возникшим и наделенным правами с момента создания, который следует отсчитывать не ранее даты регистрации в специальном реестре с присвоением индивидуального названия (номера), что позволяло бы установить характеристики лица, идентифицировать физических и / или юридических лиц, которые являются его производителями (создателями), владельцами, «учителями», пользователями (операторами). Без решения этих основополагающих вопросов сложно достичь консенсуса в отношении модели ответственности. Причем если в настоящее время распространенной идеей является введение ответственности за действия робота, то нам представляется не менее проблемным его непонятное (непрогнозируемое) бездействие. В Резолюции о роботах отдано предпочтение двум принципам: объективной ответственности и управления рисками. Однако такое решение не является единственно возможным, экспертами обсуждаются и иные конструкции, в том числе подходы, близкие модели уголовной ответственности корпораций [85].

По мнению ряда исследователей, в отличие от уголовного права, систему гражданского права возможно приспособить для введения ответственности роботов. При этом страны, которым известен институт уголовной ответственности корпораций, справятся с этой проблемой быстрее [86]. Государства, чья доктрина сопротивляется идее распространения уголовной ответственности на корпорации, будут вырабатывать иные механизмы, поскольку основные теоретические возражения убедительны и в отношении искусственного интеллекта. Ведь даже если предположить, что робот способен на суждения, он, по крайней мере на сегодняшний день, не имеет собственной цели и не понимает социальных (не говоря уже о нравственных) последствий своих действий. Роботы неспособны к осознанию противоправности своего поведения. Их можно научить принимать решения на основе оценки собственных возможностей, отказываться от выполнения задачи, если это обусловлено причинением ущерба, однако специалисты так и не ответили на главный вопрос: сможет ли робот воспринять систему принятия решений, основанную на морали, учитывая, что человеческие ценности сложны и их трудно даже конкретизировать [87]. Здесь мы подходим к вопросу о необходимости разделения машинной этики (что пока еще ближе к области научной фантастики) и этики для создателей роботов. В Резолюции о роботах отмечается, что этические законы адресованы разработчикам, производителям и операторам, поскольку их невозможно преобразовать в машинный код.

Упомянутые идеи, несмотря на сложность реализации, все-таки не подрывают веру в реальность разработки нормативных моделей. Однако следует отметить вот какую мысль: пока мы рассуждаем о том, следует ли наделять робота правосубъектностью, пришло ли для этого время и т.д., может так случиться, что такая субъектность возникнет фактически. В сущности, именно эти опасения и высказывают И. Маск, С. Хокинг и другие известные ученые, футурологи, практики, когда указывают на риски, возникающие в связи с бесконтрольным развитием искусственного интеллекта. Такая фактическая субъектность может привести к тому, что новые сущности могут начать воспроизводить собственную «жизнь», по своему автономному усмотрению формируя субъ- ект-объектную реальность [26. С. 116-117]. Это гораздо серьезнее, нежели вопрос о субъектности робота. Должны ли и как, если должны, разрабатываться технологии, которые помогут выходу искусственного интеллекта из-под контроля человека? Проблема (во многом не правовая, а этическая) уже давно обсуждается учеными, правда, пока без системного понимания того, к чему вообще могут привести эксперименты с искусственным интеллектом. Весьма интересен в данном контексте взгляд Ю.Н. Харари, оценивающего создание небиологических существ в качестве одного из способов изменения законов природы, вытеснения естественного отбора продуманным дизайном [88. С. 482, 492].

К числу острых этических проблем относится, в частности, разработка автономных роботизированных систем для военных целей. В данной нише развития искусственного интеллекта непопулярны законы А. Азимова, основное начало которых - непричине- ние роботом вреда человеку. Вместе с тем и новых согласованных подходов пока не предложено, несмотря на активную дискуссию экспертов [89-91]. Некоторые из них даже проявляют оптимизм [89. С. 19], отмечая, что если мы начнем уже сейчас учитывать этические нормы при конструировании такого оружия, то постепенное движение к полной машинной автономии может быть использовано для того, чтобы служить целям закона на поле битвы.

Боевые автономные роботизированные системы (Lethal autonomous robotics (LARs), Lethal autonomous weapons (LAWs)) способны выбирать и поражать цели без вмешательства оператора. Вместе с тем, как отмечает П. Асаро, в международном гуманитарном праве содержится имплицитное требование: решения о применении смертоносной силы должны приниматься человеком, и этот процесс не может делегироваться машинам [92]; машина, независимо от того, насколько она совершенна технически, не сможет заменить присутствие истинно нравственного агента (человека), обладающего совестью и способностью к моральному суждению [89].

В 2013 г. в международной повестке в рамках многостороннего форума впервые был заострен вопрос о контроле над роботизированными вооружениями. Это произошло после того, как специальный докладчик ООН по вопросу о внесудебных казнях, казнях без надлежащего судебного разбирательства или произвольных казнях К. Хейнс подготовил доклад, в котором рекомендовал ввести национальный мораторий на автономное оружие и учредить группу высокого уровня по данным вопросам. В документе отмечалось, что перспектива появления указанного оружия будет «стирать различие между вооружениями и воинами, поскольку такие системы будут автономно принимать решения о своем использовании». Контролируемая автономия означает присутствие оператора «над контуром управления» (в отличие от «в контуре» или «вне контура»). Такой оператор контролирует и может отменить решения робота. Однако возможность отмены может в реальности быть весьма ограничена, поскольку процесс принятия решения роботами зачастую измеряется наносекундами, и информационная база таких решений может быть недоступна для контролера [93].

27-31 августа 2018 г. в Женеве под эгидой ООН прошли переговоры Группы правительственных экспертов по смертоносным автономным системам (Group of Governmental Experts on Lethal Autonomous Weapons Systems (LAWS)) [94], где были согласованы несколько принципов, на которых мог бы базироваться подход международного сообщества. Одним из ключевых является необходимость сохранить ответственность человека за принятие решений о применении данных систем (ответственность не может быть передана машинам) [95]. Основной проблемой в дискуссии, по мнению России, продолжает оставаться отсутствие реально работающих образцов автономных систем вооружений, трудность проведения разграничения между гражданскими и военными разработками, основанными на одних и тех же технологиях. Здесь необходим сбалансированный, взвешенный учет как гуманитарных озабоченностей, так и законных оборонных интересов государств [96].

Заметим, что социальные роботы, получившие широкое распространение, также порождают немало этических проблем, многие из которых затрагивают сферу права. Так, в Докладе независимого эксперта для Совета по правам человека при ООН (2017 г.) отмечается, что «использование ассистивных технологий и робототехники при уходе за пожилыми людьми может повысить их достоинство или, наоборот, унизить его». По мере того, как технические средства становятся более сложными и автономными, возникает необходимость интеграции правозащитного подхода в процесс их разработки, планирования и внедрения [97]. Несмотря на известную фантастичность проблематики, важные ориентиры могут быть намечены в соответствии с общепризнанными принципами международного права и конституционными основами: каждый имеет право на жизнь; достоинство личности охраняется государством, и ничто не может быть основанием для его умаления и т.д. В целом следует отметить, что значение конституционных принципов здесь многоаспектно:

1) идентификация основных прав и свобод человека, обязательных для соблюдения, даже если при этом сдерживаются инновационные процессы. Вспомним, например, закон о временном запрете на клонирование человека [98];

2) установление пределов в использовании технологий (гарантии безопасности). При наличии угрозы причинения вреда подлежащим защите конституционным ценностям ответственное отношение состоит в запрете (моратории) на разработку, производство, распространение определенных робототехнических устройств;

3) выявление приоритетных целей и направлений развития: предоставление благоприятного режима технологиям, гарантирующим реализацию основных прав (стимулирование), и наоборот, создание правового заслона для технологий, не соответствующих этим целям.

В заключение от вопроса о том, каким образом следует регулировать отношения, которые связаны с роботами в праве, перейдем к не менее важному аспекту: как изменится само наше представление о праве в связи с развитием умных роботов

Относительно существующего подхода приведем мнение Г.Ф. Шершеневича: «...правовые нормы имеют своей задачей определить поведение человека относительно других людей» [99. С. 36]. Соответственно, когда мы пытаемся урегулировать взаимодействие людей (физических / юридических лиц) по поводу роботов, это, безусловно, вопросы права. Но как относиться (и как квалифицировать) к взаимодействию нескольких разумных роботов между собой без участия человека?

Право создавалось людьми и для людей, что предопределило его структуру, набор специфических средств и способов воздействия, сложное сочетание с другими регуляторами, например моралью. Если учитывать особенности искусственного интеллекта, возникают сомнения в применимости к подобным отношениям такого инструмента социального регулирования, содержащего много допущений. Следует признать, что роботы воспримут систему норм, которая будет заложена в них человеком. То есть они вберут в себя правила, рожденные человечеством исходя из его уникального социального опыта. Вместе с тем разумные роботы смогут осваивать мир и развивать собственное представление о правилах бытия, накапливая опыт, адаптируя изначально заданную систему норм и создавая нечто, отличное от нее. Человечество заметит рождение этого феномена, когда появится достаточно значительная общность сходных по характеристикам разумных роботов, существенным образом влияющих на жизнь людей, способных к самоидентификации себя как единого «сообщества» и выстраивающих взаимоотношения с учетом «своих» правил-алгоритмов. Тогда есть вероятность возникновения проблемы взаимодействия норм «естественных» и «искусственных», и человечеству, привыкшему к вербальной форме выражения права, возможно, придется осваивать иные, в том числе цифровые, формы.

И здесь, конечно, надо внимательно анализировать некоторые новые веяния в юридической доктрине, в частности, тенденцию к использованию математических методов в праве. Сторонники данного подхода исходят из того, что право стремится к полной формализации, и «система права в идеале состоит из типографских высказываний, соединенных правилами логики» [100]. Критики такой позиции не без оснований отмечают, что «важной внутренней причиной, которая препятствует машинизации права, является.

воля человека» [101. С. 37]. Однако этот контраргумент убедителен, когда мы рассуждаем о праве, допущение же возникновения нового регулятора позволяет предположить, что алгоритмический подход не лишен определенных перспектив.

Технологии и их развитие - давно уже не просто цель регулирования, они - самостоятельный актор, «провоцирующий» новые формы и расширяющий возможности регуляции, обогащающий юридический инструментарий. Однако есть и опасение, что мы попадаем в рабство к алгоритмам, которые все чаще воздействуют на нашу жизнь. Некоторые из них опосредуют каналы коммуникации и рекламы в социальных сетях, в поисковых системах или на новостных сайтах. Другие используются для принятия жизненно важных решений в таких областях, как кредитование, занятость, образование и даже правосудие. Общественность лишь относительно недавно осознала, каким образом ее судьба может регулироваться системами, которые она не понимает и не может контролировать. В известной книге Ф. Паскуале описывает это как «общество черного ящика» (black box society) [102. С. 3]. Отсюда все более частые призывы к регулированию алгоритмического процесса принятия решений. Дополнительный импульс им придало вступление в силу 25 мая 2018 г. Общего Регламента ЕС о защите персональных данных (General Data Protection Regulation, GDPR) [103]. В соответствии с положениями статьи 22 данного документа субъект данных должен иметь право не подпадать под действие решения, основанного исключительно на автоматической обработке, которое порождает юридические последствия (воздействует) в отношении него или нее.² При оценке предложенных принципов (санация данных (data sanitization) и алгоритмическая прозрачность (algorithmic transparency)) в литературе высказываются аргументы в пользу «аудита алгоритмов» [104].

Противники негативного отношения к алгоритмам отмечают, что призывы к ограничениям, особенно что касается искусственного интеллекта, проистекают из распространенных, но ошибочных представлений о том, что такие технологии создают стимулы для их использования во вред людям и что существующие законы недостаточны для эффективного надзора. Получившие известность истории о потенциальном вреде алгоритмов (например, алгоритмы оценки риска в системе уголовного правосудия, которые демонстрируют расовую предвзятость) таких экспертов не убеждают. Они уверены, что вероятность реализации рисков завышена, рыночные механизмы не позволят системам с неудачными решениями получить широкое распространение, а самое главное - регуляторные запреты будут вести к ограничению инноваций [105]. В научной литературе немало таких мнений-опасений стагнации искусственного интеллекта вследствие «зарегулированности» [106]. Заметим, однако, что его развитие не является самоцелью. При правовом регулировании важно найти тонкую грань между преимуществами и социально-экономическими рисками роботизации. Мы не должны построить общество, в котором машина станет нормой, а человек - исключением.

Примечания

1 Отметим, что вопросы робототехники и искусственного интеллекта в различной степени затрагивались и в иных документах, в частности, в поручениях Президента Российской Федерации (к примеру, см.: поручение Пр-1566, п. 3б [37]).

2 Данное положение не применяется, если решение необходимо для заключения или исполнения договора между субъектом данных и контролером данных; допускается законодательством ЕС или государства - члена ЕС, под действие которого подпадает контролер и которое также устанавливает приемлемые меры защиты прав, свобод и законных интересов субъекта данных или основывается на прямом согласии субъекта данных.

ЛИТЕРАТУРА

1. Степин В.С. Цивилизация и культура. СПб. : СПб ГУП, 2011. 408 с.

2. Воротников С.А. Информационные устройства робототехнических систем. М. : Изд-во МГТУ им. Н.Э. Баумана, 2005. 384 с.

3. Постановление Госкомтруда СССР, Секретариата ВЦСПС от 26 июня 1989 г. № 213/11-39 «О внесении дополнений в Единый тарифно-квалификационный справочник работ и профессий рабочих, выпуск 2, утвержденный постановлением Госкомтруда СССР и Секретариата ВЦСПС от 16 января 1985 г. № 17/2-54, с дополнениями, утвержденными постановлением Госкомтруда СССР и Секретариата ВЦСПС от 23 июня 1986 г. № 234/14-55». URL: www.consultant.ru

4. Концепция совершенствования организации и нормирования труда в условиях перехода к рыночной экономике, утвержденная постановлением Госкомтруда СССР от 14 ноября 1990 г. № 429 «О концепции совершенствования организации и нормирования труда в условиях перехода к рыночной экономике». URL: www.consultant.ru.

5. Макаров И.М., Топчеев Ю.И. Робототехника: история и перспективы. М. : Наука; Изд-во МАИ, 2003. 349 с.

6. Рассел С., Норвиг П. Искусственный интеллект: современный подход. М. : ООО «И.Д. Вильямс», 2018. 1408 с.

7. Хайкин С. Нейронные сети: полный курс. 2-е изд. М. : ООО «И.Д. Вильямс», 2018. 1104 с.

8. Хабриева Т.Я., Черногор Н.Н. Право в условиях цифровой реальности // Журнал российского права. 2018. № 1. С. 85-102.

9. Keisner A., Raffo J., Wunsch-Vincent S. Robotics: Breakthrough Technologies, Innovation, Intellectual Property // Foresight and STI Governance.

2016. Vol. 10, № 2. P. 7-27.

10. Hoadley D., Lucas N. Artificial Intelligence and National Security. Congressional Research Service. April 26, 2018. 142 p.

11. Eidenmueller H. The Rise of Robots and the Law of Humans (March 26, 2017). Oxford Legal Studies Research Paper. 2017. № 27. Available at SSRN. URL: https://ssrn.com/abstract =2941001 or http://dx.doi.org/10.2139/ssrn.2941001 (дата обращения: 15.08.2018).

12. Richards N.M., Smart W.D. How should the Law Think about Robots? // Robot Law. Ed. by R. Calo, A.M. Froomkin, I. Kerr. Cheltenham, UK. Northampton, USA. Edward Elgar Publishing. 2016. 402 p.

13. Calo R. Robotics and the new cyberlaw. 2014. . URL: https://www.researchgate.net/ publication/272547345_Robotics_and_the_New_Cyberlaw (дата обращения: 28.08.2018).

14. Хаванова И. А. Виртуальное и реальное: теория потоков в контексте налогово-правового регулирования // Финансовое право. 2017. № 4. С. 35-40.

15. Ролинсон П., Ариевич Е.А., Ермолина Д.Е. Объекты интеллектуальной собственности, создаваемые с помощью искусственного интеллекта: особенности правового режима в России и за рубежом // Закон. 2018. № 5. С. 63-71.

16. Matthias A. The responsibility gap: Ascribing responsibility for the actions of learning automata // Ethics and information technology. 2004. № 6 (3). P. 175-183.

17. Stephen Hawking: Transcendence looks at the implications of artificial intelligence - but are we taking AI seriously enough? // Independent.

Thursday 1 May 2014. URL:https://www.independent.co.uk/news/science/stephen-hawking-transcendence-looks-at-the-implications-of-

artificial-intelligence-but-are-we-taking-9313474.html (дата обращения: 01.09.2018).

18. Форд М. Роботы наступают: развитие технологий и будущее без работы. М. : Альпина нон-фикшн, 2016. 430 c.

19. Маск И. Интервью, данное на World Government Summit в Дубае. URL: https://www.youtube.com/watch?v=0Nbs6QRClqQ (дата обращения: 01.09.2018).

20. Новицкая Ю., Каляев И. Миф об искусственном интеллекте. Беседа с членом-корреспондентом РАН, профессором Игорем Каляевым.

URL:http://zavtra.ru/blogs/mif-ob-iskusstvennom-intellekte.;http://www.ras.ru/digest/showdnews.aspx?id=8d311816-7c78-4892-a202-1ccbf2983b09 (дата обращения: 15.08.2018).

21. Fox S. Cyborgs, Robots and Society: Implications for the Future of Society from Human Enhancement with In-The-Body Technologies // Technologies. 2018. URL: https://www.mdpi.com/journal/technologies (дата обращения: 15.08.2018).

22. Пушкарев А.В. Философские основания искусственного интеллекта : дис. ... канд. философских наук. Уфа, 2017. 164 с.

23. Степин В.С., Аршинов В.И., Гусейнов А.А., Лекторский В.А., Пружинин Б.И., Федотова В.Г. Анализ структуры и динамики науки в социокультурном контексте. Материалы обсуждения избранных трудов В.С. Степина // Вопросы философии. 2017. № 12. С. 5-31.

24. Yampolskiy R.V., Fox J. Artificial General Intelligence and the Human Mental Model. In Singularity Hypotheses: A Scientific and Philosophical Assessment. Edited by Amnon Eden, Johnny Soraker, James H. Moor, and Eric Steinhart. Berlin : Springer. 2012. URL: https://intelligence.org/files/AGI-HMM.pdf (дата обращения: 15.08.2018).

25. Гаджиев Г.А. Является ли робот-агент лицом? (Поиск правовых форм для регулирования экономики) // Журнал российского права. 2018. № 1. С. 15-30.

26. Габов А.В. Правосубъектность: традиционная категория права в современную эпоху // Вестник Саратовской государственной юридической академии. 2018. № 2(121). С. 105-121.

27. Морхат П.М. Искусственный интеллект: правовой взгляд: Научная монография. М. : Буки Веди, 2017. 257 с.

28. Ястребов О.Я. Правосубъектность электронного лица: теоретико-методологические подходы // Труды Института государства и права РАН. 2018. Том 13. № 2. С. 36-55.

29. Архипов В.В., Наумов В.Б. О некоторых вопросах теоретических оснований развития законодательства о робототехнике: аспекты воли и правосубъектности // Закон. 2017. № 5 . С. 157-170.

30. Иванов А.А. Мечтают ли андроиды об электроовцах? (15.02.2017). URL: https://zakon.ru/blog/2017/02/15/mechtayut_li_androidy _ob_elektroovcah (дата обращения: 26.08.2018).

31. Незнамов А.В., Наумов В.Б. Вопросы развития законодательства о робототехнике в России и в мире // Юридические исследования. 2017. № 8. С. 14-25.

32. Классификатор ЕСКД. Класс 44. Оборудование технологическое специфическое», утвержденное постановлением Госстандарта СССР от 6 сентября 1979 г. № 100; «ГОСТ 26329-84 (СТ СЭВ 4292-83). Государственный стандарт Союза ССР. Машины вычислительные и системы обработки данных. Допустимые уровни шума технических средств и методы их определения», утв. Постановлением Совмина РСФСР от 30 июня 1987 г. № 275 «О мерах по дальнейшему совершенствованию работы жилищно-коммунального хозяйства в РСФСР»; «Общесоюзный классификатор. Стандарты и технические условия. ОКСТУ 1 80 011», утвержденный решением Госстандарта СССР от 13 ноября 1980 г. № 38. URL: www.consultant.ru

33. «ГОСТ Р 54344-2011. Национальный стандарт Российской Федерации. Техника пожарная. Мобильные робототехнические комплексы для проведения аварийно-спасательных работ и пожаротушения. Классификация. Общие технические требования. Методы испытаний», утвержденный введенный в действие Приказом Росстандарта от 28 июня 2011 г. № 158-ст; «ОК 029-2014 (КДЕС Ред. 2). Общероссийский классификатор видов экономической деятельности», утвержденный приказом Росстандарта от 31 января 2014 г. № 14-ст; «ГОСТ Р ИСО 9999-2014. Национальный стандарт Российской Федерации. Вспомогательные средства для людей с ограничениями жизнедеятельности. Классификация и терминология», утвержденный и введенный в действие приказом Росстандарта от 23 сентября 2014 г. № 1177-ст; «ГОСТ Р 60.0.0.2-2016. Национальный стандарт Российской Федерации. Роботы и робототехнические устройства. Классификация», утвержденный и введенный в действие приказом Росстандарта от 29 ноября 2016 г. № 1842-ст.

34. ОК 029-2014 (КДЕС Ред. 2). Общероссийский классификатор видов экономической деятельности, утвержденный приказом Росстандар- та от 31 января 2014 г. № 14-ст.

35. ISO 8373:2012 «Robots and robotic devices. Classification». URL: https://www.iso.org/standard/55890.html (дата обращения: 01.09.2018).

36. Стратегия развития информационного общества в Российской Федерации на 2017-2030 годы, утвержденная Указом Президента Российской Федерации от 9 мая 2017 г. № 203. URL: www.consultant.ru

37. Перечень поручений по итогам встречи с участниками форума «Интернет-предпринимательство в России», состоявшейся 10 июня

2014 года. URL: http://kremlin.ru/acts/assignments/orders/46152 (дата обращения: 01.09.2018))

38. Стратегия национальной безопасности Российской Федерации Утверждена Указом Президента Российской Федерации от 31 декабря

2015 г. № 683. URL: www.consultant.ru

39. Программа «Цифровая экономика Российской Федерации», утверждена распоряжением Правительства Российской Федерации от 28 июля 2017 г. № 1632-р. URL: www.consultant.ru

40. Указ Президента Российской Федерации от 7 мая 2018 г. № 204 «О национальных целях и стратегических задачах развития Российской Федерации на период до 2024 года». URL: www.consultant.ru

41. Перечень поручений от 16 марта 2018 по реализации Послания Президента Российской Федерации Федеральному Собранию Российской Федерации от 1 марта 2018 г. URL: www.consultant.ru

42. Проект закона «О внесении изменений в Гражданский кодекс Российской Федерации в части совершенствования правового регулирования отношений в областиробототехники».URL://https://vk.com/ doc3420_439923163?hash=0a76aafed49c254276&

dl=a16c15f566c9bef73f (дата обращения: 26.08.2018).

43. Архипов В.В., Наумов В.Б. Информационно-правовые аспекты формирования законодательства о робототехнике // Информационное право. 2017. № 1. С. 19-27.

44. Шустиков В. Коллизии «права роботов». URL: http://sk.ru/news/b/press/archive/2017/05/25/kollizii-_1c20_prava-robotov_1d20_.aspx (дата обращения: 25.08.2018).

45. Закон об умных роботах. URL: http://elaw.klri.re.kr/eng_mobile/viewer.do?hseq=17399&type=part&key=18 (дата обращения: 25.08.2018).

46. Законодорожномдвиженииот17июня2010г. https://v1.juristaitab.ee /sites/ www.juristaitab.ee/files/elfinder/ru-

seadused/%D0%97%D0%90%D0%9A%D0%9E%D0%9D%20%D0%9E%20%D0%94%D0%9E%D0%A0%D0%9E%D0%96% D0%9D%D0%9E%D0%9C%20%D0%94%D0%92%D0%98%D0%96%D0%95%D0%9D%D0%98%D0%98% 2002.07. 2018.pdf (дата обращения: 25.08.2018).

47. Законодорожномдвиженииот16июня2017.URL:https://www.bgbl.de/xaver/bgbl/ start. xav?start =%2F%2F

*%5B%40attr_id%3D%27bgbl117s1648.pdf%27%5D#bgbl%2F%2F*%5B%40attr_id%3D%27bgbl117s1648.pdf%27%5D1533560692

630 (дата обращения: 06.08.2018).

48. Cuthbert O. Saudi Arabia becomes first country to grant citizenship to a robot. URL: http://www.arabnews.com/node/1183166/saudi-arabia (дата обращения: 26.08.2018).

49. GreeneT.Opinion:Saudi Arabiawas wrong to give citizenship to a robot. URL:https://thenextweb.com/artificial-

intelligence/2017/10/31/opinion-saudi-arabia-was-wrong-to-give-citizenship-to-a-robot/ (дата обращения: 26.08.2018).

50. SolumL.LegalPersonhood for ArtificialIntelligences // NorthCarolina Law Review, (April 1992). URL:

http://scholarship.law.unc.edu/cgi/viewcontent.cgi?article=3447&context=nclr (дата обращения: 26.08.2018).

51. Gray J. The nature and sources of the Law. New York. The Columbia University Press. 1909. 349 p.

52. Filipe M. The Legal Status of Artificially Intelligent Robots: Personhood, Taxation and Control (June 1, 2017). Available at SSRN. URL: https://ssrn.com/abstract= 2985466 or http://dx.doi.org/ 10.2139/ssrn.2985466 (дата обращения: 26.08.2018).

53. Wein L. The Responsibility of Intelligent Artifacts: Toward an Automation Jurisprudence // Harvard Journal of Law & Technology. 1992. Vol. 6, Fall Issue. P. 103-154.

54. Asaro P.M. Robots and Responsibility from a Legal Perspective. 2007. URL:http://www.peterasaro.

org/writing/ASARO%20Legal%20Perspective.pdf (дата обращения: 21.08.2018).

55. Dvorsky G. When will robots deserve human rights. URL: https://gizmodo.com/when-will-robots-deserve-human-rights-1794599063 (дата обращения: 27.08.2018 г.).

56. Darling K. Extending Legal Rights to Social Robots. 2012. URL: http://robots.law.miami.edu/wp-content/uploads/2012/03/Darling_Extending- Legal-Rights-to-Social-Robots.pdf (дата обращения: 27.08.2018 г.).

57. Callahan M. Should robots have rights? URL: https://phys.org/news/2017-12-robots-rights.html (дата обращения: 21.08.2018).

58. Dvorsky G. When the Turing Test is not enough: Towards a functionalist determination of consciousness and the advent of an authentic machine ethics. URL: http://www.sentientdevelopments.com/2012/03/when-turing-test-is-not-enough-towards.html (дата обращения: 21.08.2018).

59. Siddique A. Robot rights? URL: https://www.citylawsociety.co.uk/single-post/2017/12/18/ROBOT-RIGHTS (дата обращения: 21.08.2018).

60. Renstrom J. Should Robots Have Rights? URL: https://www.thedailybeast.com/should-robots-have-rights (дата обращения: 21.08.2018).

61. Bryson J. Robots Should Be Slaves // http://www.cs.bath.ac.uk/~jjb/ftp/Bryson-Slaves-Book09.html (дата обращения: 21.08.2018).

62. Nevejans N. European civil law rules in robotics: study for the JURI Committee. European Parliament. Directorate-General for Internal Policies, Policy Department C, Citizens' Rights and Constitutional Affairs, Legal Affairs. 2016. URL: http://www.europarl.europa.eu/RegData/etudes/ STUD/ 2016/571379/IPOL_STU(2016)571379_EN.pdf (дата обращения: 21.08.2018).

63. Азимов А. Runaround / I, Robot = Я, робот. СПб. : Антология, 2018. 320 с.

64. European Parliament resolution of 16 February 2017 with recommendations to the Commission on Civil Law Rules on Robotics (2015/2103(INL)). URL: http://www.europarl.europa.eu/sides/getDoc.do?type =TA&language=EN&reference=P8-TA-2017-0051#BKMD-12 (дата обращения: 01.08.2018). Перевод на русский язык доступен: http://robopravo.ru/riezoliutsiia_ies (дата обращения: 21.08.2018).

65. Caytas J. European Perspectives on an Emergent Law of Robotics (April 4, 2017). Columbia Journal of European Law : Preliminary Reference (Apr. 4, 2017). Available at SSRN. URL: https://ssrn.com/abstract=2956958/ (дата обращения: 21.08.2018).

66. Bickerstaff R. Do we need robot law?. URL: https://www.britac.ac.uk/events/do-we-need-robot-law (дата обращения: 15.08.2018).

67. Open letter to the European commission artificial intelligence and robotics. URL: http://www.robotics-openletter.eu/ (дата обращения:

21.08.2018) .

68. Artificialintelligence:Commission outlines aEuropean approach to boostinvestment and setethical guidelines. URL:

http://europa.eu/rapid/press-release_IP-18-3362_en.htm (дата обращения: 21.08.2018).

69. Burri T. The EU is right to refuse legal personality for Artificial Intelligence. URL: https://www.euractiv.com/section/digital/opinion/the-eu-is- right-to-refuse-legal-personality-for-artificial-intelligence/ (дата обращения: 29.08.2018).

70. Declaration of cooperation on Artificial Intelligence. URL:https://ec.europa.eu/ jrc/communities/ sites/ jrccties/ files/

2018aideclarationatdigitaldaydocxpdf.pdf (дата обращения: 29.08.2018).

71. Распоряжение Евразийского межправительственного совета от 7 марта 2017 г. № 2 «О сферах экономики, обладающих интеграционным потенциалом в Евразийском экономическом союзе, и мерах, направленных на его использование». URL: www.consultant.ru

72. Архипов С.И. Субъект права: теоретическое исследование. СПб. : Изд-во Р. Асланова «Юридический центр Пресс». 2004. 469 с.

73. Darling K., Nandy P., Breazeal C. Empathic Concern and the Effect of Stories in Human-Robot Interaction (February 1, 2015). Proceedings of the

IEEEInternationalWorkshop on Robotand Human Communication (ROMAN),2015. Available at SSRN.

URL:: https://ssrn.com/abstract=2639689 (дата обращения: 21.08.2018).

74. Hartzog W. Unfair and Deceptive Robots // 74 Md. L. Rev. 785 (2015). P. 785-829.

75. Bayern Sh. The Implications of Modern Business-Entity Law for the Regulation of Autonomous Systems // 19 Stanford Technology Law Review 93 (2015). P. 93-112.

76. Straub J. Does regulating artificial intelligencesave humanity or just stifle innovation? (October 23,2017). URL:

https://theconversation.com/does-regulating-artificial-intelligence-save-humanity-or-just-stifle-innovation-85718 (дата обращения: 31.08.2018).

77. Etzioni O. How to Regulate Artificial Intelligence. URL: https://www.nytimes.com/2017/09/01/opinion/artificial-intelligence-regulations- rules.html (дата обращения: 31.08.2018).

78. Ястребов О.А. Искусственный интеллект в правовом пространстве: концептуальные и теоретические подходы // Правосубъектность: общетеоретический, отраслевой и международно-правовой анализ : сб. материалов к XII Ежегодным научным чтениям памяти проф. С.Н. Братуся. М. : Статут, 2017. С. 271-283.

79. Zimmerman E.MachineMinds:Frontiers in Legal Personhood (February 12,2015). Available at SSRN.

URL: https://ssrn.com/abstract=2563965 or http://dx.doi.org/10.2139/ssrn.2563965 (дата обращения: 31.08.2018).

80. Бенасайяг М. Мышление за пределами мозга // Искусственный интеллект: перспективы и угрозы. Курьер ЮНЕСКО. Июль-сентябрь 2018 г. URL: http://unesdoc.unesco.org/ images /0026/ 002652/265211r.pdf (дата обращения: 31.08.2018).

81. Пахман С. О задачах предстоящей реформы акционерного законодательства. Речь, написанная для произнесения в торжественном собрании Императорского Харьковского университета, 30 августа 1861 года. Харьков : В Университетской Типографии, 1861. 159 с.

82. Кавелин К. Права и обязанности по имуществам и обязательствам. В применении к русскому законодательству. Опыт систематического обозрения. С.-Петербург : Типография М.М. Стасюлевича, 1879. 143 с.

83. Азаревич Д. А. Юридические лица // Временник Демидовского юридического лицея. Книга двадцать восьмая. Ярославль : В типографиях: Губернского Правления, Земской Управы и г. Фальке в Ярославле, 1882. С. 1-84.

84. Guihot M., Matthew A. F., Suzor N. P. Nudging robots: Innovative solutions to regulate artificial intelligence. Vanderbilt Journal of Entertainment & Technology Law. 2017. URL:http://www.jetlaw.org/wp-content/uploads/2017/12/2_Guihot-Article_Final-Review-

Complete_Approved.pdf (дата обращения: 01.09.2018).

85. Hallevy G. The Criminal Liability of Artificial Intelligence Entities - from Science Fiction to Legal Social Control // Akron Intellectual Property Journal: 2010. Vol. 4, is. 2. Article 1. P. 171-201.

86. Gless S., Silverman E., Weigend T. If Robots Cause Harm, Who Is to Blame? Self-Driving Cars and Criminal Liability (January 29, 2016). Available at SSRN: https://ssrn.com/abstract=2724592 or http://dx.doi.org/10.2139/ssrn.2724592 (дата обращения: 01.09.2018).

87. Muehlhauser L., Salamon A. Intelligence explosion: Evidence and import. In Singularity hypotheses: A scientific and philosophical assessment, ed. A. Eden, J. Soraker, J. H. Moor, and E. Steinhart. The Frontiers Collection. Berlin : Springer. 2012. URL: https://intelligence.org/files/IE- EI.pdf (дата обращения: 01.09.2018).

88. Харари Ю.Н. Sapiens. Краткая история человечества / Юваль Ной Харари; пер. с англ. Л. Сумм. М. : Синдбад, 2017. 570 с.

89. Anderson K., Waxman M. Law and Ethics for Robot Soldiers (April 5, 2012). Policy Review, 2012; Columbia Public Law Research Paper No.

12-313; American University, WCL Research Paper № 2012-32. Available at SSRN. URL: https://ssrn.com/abstract=2046375 (дата обращения: 01.09.2018).

90. Anderson K., Waxman M. Law and Ethics for Autonomous Weapon Systems: Why a Ban Won't Work and How the Laws of War Can (April 10, 2013). Stanford University, The Hoover Institution (Jean Perkins Task Force on National Security and Law Essay Series), 2013; American University, WCL Research Paper 2013-11; Columbia Public Law Research Paper 13-351. Available at SSRN. URL: https://ssrn.com/abstract=2250126 or http://dx.doi.org/10.2139/ssrn.2250126 (дата обращения: 01.09.2018).

91. Anderson K., Waxman M. Debating Autonomous Weapon Systems, Their Ethics, and Their Regulation Under International Law (February 28, 2017). Roger Brownsword, Eloise Scotford, Karen Yeung, eds., The Oxford Handbook of Law, Regulation, and Technology (Oxford University Press, July 2017), Chapter 45; Columbia Public Law Research Paper No. 14-553; American University, WCL Research Paper No. 2017-21. Available at SSRN. URL: https://ssrn.com/abstract=2978359 (дата обращения: 01.09.2018).

92. Asaro P. On Banning Autonomous Weapon Systems: Human Rights, Automation, and the Dehumanisation of Lethal Decision-making // International Review of the Red Cross. Volume 94. Number 886. Summer 2012. P. 687-709.

93. Promotion and protection of all human rights, civil, political, economic, social and cultural rights, including the right to development. Report of the Special Rapporteur on extrajudicial, summary or arbitrary executions, Christof Heyns (9 April 2013). URL: https://www.ohchr.org/Documents/HRBodies/HRCouncil/RegularSession/Session23/A-HRC-23-47_en.pdf (дата обращения: 30.08.2018).

94. https://www.unog.ch/80256EE600585943/(httpPages)/F027DAA4966EB9C7C12580CD0039D7B5 (дата обращения: 05.09.2018).

95. Emerging Commonalities, Conclusions and Recommendations. URL:https://www.unog.ch/80256EDD006B8954

/(httpAssets)/EB4EC9367D3B63B1C12582FD0057A9A4/$file/GGE+LAWS+August_EC,+C+and+Rs_final.pdf (дата обращения: 05.09.2018).

96. Рассмотрение различных аспектов новых технологий в сфере создания смертоносных автономных систем вооружений в контексте целей и задач Конвенции (Представлено Российской Федерацией). Женева, 13-17 ноября 2017 г. URL: https://www.unog.ch /80256EDD006B8954/ (httpAssets)/ E9178CB855E3D8EDC12581D70065EF31 /$file/ 2017_GGEonLAWS_WP_Russian.pdf (дата обращения: 01.08.2018).

97. Доклад Независимого эксперта по вопросу об осуществлении пожилыми людьми всех прав человека для Совета по правам человека при

ООН // A/HRC/36/48. Совет по правам человека.Тридцать шестая сессия.11-29 сентября 2017 г. URL:

http://digitallibrary.un.org/record/1304243/files/A_HRC_36_48-RU.pdf (дата обращения: 01.09.2018).

98. Федеральный закон от 20 мая 2002 г. № 54-ФЗ (ред. от 29.03.2010) «О временном запрете на клонирование человека». URL: www.consultant.ru

99. Шершеневич Г.Ф. Общая теория права. Лекции профессора Московского университета Г.Ф. Шершеневича, читанные в Московском Коммерческом институте в 1909/10 академ. году. Редактированное автором издание Студ. комиссии общ-ва взаимопом. С.К.И. Б\г, 1910. 320 с.

100. Переверзев С., Подолин А. Социальная математика = право. Новый язык юридической науки. URL: http://speranskylabs.ru/ (дата обращения: 01.09.2018).

101. Иванов А. А. О глубине машинизации права // Закон. 2018. № 5. С. 35-41.

102. Pasquale F. The Black Box Society: The Secret Algorithms That Control Money and Information // Harvard University Press. 2015. 311 p.

103. Регламент Европейского парламента и Совета Европейского Союза № 2016/679 от 27 апреля 2016 г. «О защите физических лиц при обработке персональных данных и о свободном обращении таких данных, а также об отмене Директивы 95/46/ЕС».

104. Goodman B. A Step Towards Accountable Algorithms? Algorithmic Discrimination and the European Union General Data Protection // 29th Conference on Neural Information Processing Systems. Barcelona, Spain. 2016. URL: http://www.mlandthelaw.org/papers/goodman1.pdf (дата обращения: 01.09.2018).

105. Joshua N., Castro D. How Policymakers Can Foster Algorithmic Accountability. 2018. May 21. URL: https://itif.org/ publica- tions/2018/05/21/how-policymakers-can-foster-algorithmic-accountability (дата обращения: 01.09.2018).

106. Guidelines on Regulating Robotics. 2014. URL: http://www.robolaw.eu/ RoboLaw_files/ documents/robolaw_d6.2_ guidelinesregulatingrobot- ics_20140922.pdf (дата обращения: 15.08.2018).

REFERENCES

1. Stepin, V.S. (2011) Tsivilizatsiya i kul'tura [Civilization and culture]. St. Petersburg: SPb GUP.

2. Vorotnikov, S.A. (2005) Informatsionnyye ustroystva robototekhnicheskikh sistem [Information structure of robotic systems]. Moscow: Moscow State Technical University.

3. USSR. (1986) Resolution of the USSR State Labor Committee, Secretariat of the All-Union Central Council of Trade Unions No. 213/11-39 of June

26, 1989 “On Amendments to the Unified Tariff and Qualification Reference Book of Work and Professions of Workers, Issue 2, approved by a resolution of the State Committee on Labor of the USSR and the Secretariat of the All-Union Central Council of Trade Unions No. 17/2-54 of 16 January 1985, with supplements approved by the decision of the USSR State Labor Committee and the Secretariat of the All-Union Central Council of Trade Unions No. 234/14-55 of 23 June 1986”. [Online] Available from: www.consultant.ru. (In Russian).

4. USSR. (1990) The concept of improving the organization and rationing of labor in the transition to a market economy, approved by the USSR State

Labor Committee Resolution No. 429 of November 14, 1990, “On the concept of improving the organization and rationing of labor in the transition to a market economy”. [Online] Available from: www.consultant.ru. (In Russian).

5. Makarov, I.M. & Topcheyev, Yu.I. (2003) Robototekhnika: istoriya iperspektivy [Robotics: history and prospects]. Moscow: Nauka; Izd-vo MAI.

6. Russel, S. & Norvig, P. (2018) Iskusstvennyy intellekt: sovremennyy podkhod [Artificial Intelligence: A Modern Approach]. Translated from English. Moscow: OOO “I.D. Vil'yams”.

7. Khaykin, S. (2018) Neyronnyye seti: polnyy kurs [Neural networks: a full course]. 2nd ed. Moscow: OOO “I.D. Vil'yams”.

8. Khabriyeva, T.Ya. & Chernogor, N.N. (2018) The Law in the Conditions of Digital Reality. Zhurnal rossiyskogo prava -- Journal of Russian Law.

1. pp. 85-102. (In Russian).

9. Keisner, A., Raffo, J. & Wunsch-Vincent, S. (2016) Robotics: Breakthrough Technologies, Innovation, Intellectual Property. Foresight and STI

Governance. 10(2). pp. 7-27.

10. Hoadley, D. & Lucas, N. (2018) Artificial Intelligence and National Security. Congressional Research Service. April 26.

11. Eidenmueller, H. (2017) The Rise of Robots and the Law of Humans (March 26, 2017). Oxford Legal Studies Research Paper. 27. Available at SSRN. [Online] Available from: https://ssrn.com/abstract=2941001. (Accessed: 15.08.2018).

12. Richards, N.M. & Smart, W.D. (2016) How should the Law Think about Robots? Calo, R., Froomkin, A.M. & Kerr, I. (eds) Robot Law. Cheltenham, UK; Northampton, USA: Edward Elgar Publishing.

13. Calo, R. (2014) Robotics and the newcyberlaw.[Online] Available from:https://www.researchgate.net/publication/

272547345_Robotics_and_the_New_Cyberlaw. (Accessed: 28.08.2018).

14. Khavanova, I.A. (2017) Virtual and Real: Flow Theory in the Context of Tax Regulation. Finansovoye pravo -- Financial Law. 4. pp. 35-40. (In Russian).

15. Rolinson, P., Ariyevich, E.A. & Ermolina, D.E. (2018) Ob”yekty intellektual'noy sobstvennosti, sozdavayemyye s pomoshch'yu iskusstvennogo intellekta: osobennosti pravovogo rezhima v Rossii i za rubezhom [Intellectual property created using artificial intelligence: features of the legal regime in Russia and abroad]. Zakon. 5. pp. 63-71.

16. Matthias, A. (2004) The responsibility gap: Ascribing responsibility for the actions of learning automata. Ethics and Information Technology. 6 (3). pp. 175-183.

17. The Independent. (2014) Stephen Hawking: Transcendence looks at the implications of artificial intelligence - but are we taking AI seriously enough? The Independent. Thursday 1 May. [Online] Available from: https://www.independent.co.uk/news/science/stephen-hawking- transcendence-looks-at-the-implications-of-artificial-intelligence-but-are-we-taking-9313474.html. (Accessed: 01.09.2018).

18. Ford, M. (2016) Roboty nastupayut: razvitiye tekhnologiy i budushcheye bez raboty [Robots are coming: technology development and the future without work]. Translated from English. Moscow: Al'pina non-fikshn.

19. Mask, I. (2017) Interv'yu, dannoye na World Government Summit v Dubaye [Interview given at the World Government Summit in Dubai]. [Online] Available from: https://www.youtube.com/watch?v=0Nbs6QRClqQ. (Accessed: 01.09.2018).

20. Novitskaya, Yu. & Kalyayev, I. (2015) Mif ob iskusstvennom intellekte. Beseda s chlenom-korrespondentom RAN, professorom Igorem Kal- yayevym [Myth about artificial intelligence. Interview with Corresponding Member of the Russian Academy of Sciences, Professor Igor Kalyaev]. [Online] Available from: http://zavtra.ru/blogs/mif-ob-iskusstvennom-intellekte; http://www.ras.ru/digest/showdnews.aspx?id=8d311816- 7c78-4892-a202-1ccbf2983b09. (Accessed: 15.08.2018).

21. Pushkarev, A.V. (2017) Filosofskiye osnovaniya iskusstvennogo intellekta [Philosophical foundations of artificial intelligence]. Philosophy Cand. Dis. Ufa.

22. Fox, S. (2018) Cyborgs, Robots and Society: Implications for the Future of Society from Human Enhancement with In-The-Body Technologies. Technologies. [Online] Available from: https://www.mdpi.com/journal/technologies. (Accessed: 15.08.2018).

23. Stepin, V.S. et. al (2017) The Analyses of Structure and Dynamics of Science in Social-Cultural Context. Materials of the Discussion of V.S. Stepin's Selected Works. Voprosy filosofii. 12. pp. 5-31. (In Russian).

24. Yampolskiy, R.V. & Fox, J. (2012) Artificial General Intelligence and the Human Mental Model. In: Eden, A., Soraker, J, Moor, J.H. & Steinhart,

E. (eds) Singularity Hypotheses:A Scientific and Philosophical Assessment. Berlin:Springer. [Online] Available from:

https://intelligence.org/files/AGI-HMM.pdf. (Accessed: 15.08.2018).

25. Gadzhiyev, G.A. (2018) Whether the Robot-Agent is a Person? (Search of Legal Forms for the Regulation of Digital Economy). Zhurnal rossiyskogo prava -- Journal ofRussian Law. 1. pp. 15-30. (In Russian).

26. Gabov, A.V. (2018) Legal personality: Traditional category of law in the modern era. Vestnik Saratovskoy gosudarstvennoy yuridicheskoy akade- mii. 2(121). pp. 105-121. (In Russian).

27. Morkhat, P.M. (2017) Iskusstvennyy intellekt: pravovoy vzglyad [Artificial Intelligence: A Legal View]. Moscow: Buki Vedi.

28. Yastrebov, O.Ya. (2018) Legal Capacity of Electronic Person: Theoretical and Methodological Approaches. Trudy Instituta gosudarstva i prava RAN--Proceedings of the Institute of State and Law of RAS. 13(2). pp. 36-55. (In Russian).

29. Arkhipov, V.V. & Naumov, V.B. (2017) O nekotorykh voprosakh teoreticheskikh osnovaniy razvitiya zakonodatel'stva o robototekhnike: aspekty voli i pravosub”yektnosti [On some issues of the theoretical basis for the development of legislation on robotics: aspects of the will and legal personality]. Zakon. 5. pp. 157-170.

30. Ivanov, A.A. (2017) Mechtayut li androidy ob elektroovtsakh? [Do androids dream of electric sheep?]. 15 February. [Online] Available from: https://zakon.ru/blog/2017/02/15/mechtayut_li_androidy _ob_elektroovcah. (Accessed: 26.08.2018).

31. Neznamov, A.V. & Naumov, V.B. (2017) On the regulation of robotics in Russia and in the world. Yuridicheskiye issledovaniya -- Legal Studies.pp. 14-25. (In Russian).

32. USSR. (1979) Unified System for Design Documentation Classifier. Class 44. ” Specific technological equipment”, approved by the Decree of the

USSR GosStandartNo. 100 of September 6, 1979. [Online] Available from: www.consultant.ru. (In Russian).