Технология искусственного интеллекта и право: вызовы современности

В то же время применение технологии ис-кусственного интеллекта в данном ключе тре-бует разрешения вопросов публично-правового характера: получения согласия на обработку данных от субъектов этих данных, определения правосубъектности указанных лиц, установле-ния юридической ответственности в связи с недобросовестным использованием данных, полученных для принятия решения.

Унификация и стандартизация систем искусственного интеллекта

На наш взгляд, следует признать справед-ливость позиции, согласно которой целый ряд проблем, возникающих в связи с применением технологии искусственного интеллекта и вве-дением в оборот результатов функционирова-ния искусственного интеллекта (либо прав на эти результаты в случае их возникновения у определенных субъектов), могут быть разреше-ны путем разработки стандартов, а также с по-мощью создания реестра таких результатов.

Полагаем, что ключевыми проблемами, возникающими при разработке, тестировании и эксплуатации систем искусственного интеллек-та, являются следующие.

Во-первых, это риски, связанные с отсут-ствием доверия к системам искусственного ин-теллекта. Они обусловлены отсутствием транс-парентности процесса принятия решений и вследствие этого - отсутствием гарантий каче-ства выполненной работы. Поэтому этого име-ются определенные ограничения в отношении использования систем искусственного интел-лекта в процессе выполнения задач, предпола-гающих повышенную ответственность лица, принимающего решения.

Предсказуемость действий при выполне-нии конкретных задач, процессов и сервисов по обработке данных и поиску решений необхо-дима, и использование машин, управляемых человеком, вполне способно обеспечить такую предсказуемость. Однако, как справедливо от-мечают исследователи, роботы и системы ис-кусственного интеллекта нового поколения яв-ляются самообучающимися, «архитектура ин-теллекта роботов продвинулась от интеллекту-ального действия к автономному интеллекту, благодаря чему роботы могут адаптироваться к сложным средам и взаимодействовать с людь- ми....Поскольку роботы становятся более спо-собными к автономному поведению, правила, связанные с промышленными роботами, боль-ше не будут эффективными», а возникающие при этом риски могут быть связаны с произ-водством самообучающихся роботов и с про-цессом осуществления ими той или иной дея-тельности [59, р. 206].

Вопросы безопасности при разработке и тестировании систем искусственного интеллек-та представляют особый интерес с позиций права, именно поэтому целый ряд ученых об-ращаются к их анализу. П. М. Морхат отмечает, что именно «такие риски поддаются управле-нию посредством нормативно-правового и нормативного технического регулирования, посредством процессов оценки и планирова-ния», в то время как «риски, проистекающие из автономной деятельности роботов (автономная деятельность роботов нового поколения делает связанные с их деятельностью риски сложны-ми, изменчивыми и непредсказуемыми и, сле-довательно, требует совершенно иного подхода к оценке рисков)» [9, с. 129].

Среди зарубежных ученых, предприни-мавших попытки выявления ключевых рисков безопасности, связанных с радикальным разви-тием технологий искусственного интеллекта, следует назвать Ника Бострома, который также усматривает существенные риски именно в процессе эксплуатации, применения техноло-гии искусственного интеллекта, указывая на то, что «существуют опасения по поводу автоном-ных автомобилей и кибератак, а также причи-нения вреда» [31].

Рональд Линес и Федерика Люсиверо ука-зывают на необходимость регулирования про-цесса проектирования систем искусственного интеллекта с нормами и стандартами таким об-разом, чтобы их использование было макси-мально безопасным и исключалось причинение вреда пользователям данных систем, а также третьим лицам. Для этого ими предлагается регламентация указанных процессов путем не только принятия законов, но и разработки сис-темы технической регламентации и стандарти-зации в указанной сфере [49, р. 6].

Ряд исследователей отмечают, что регули-рование новых технологий является сложной задачей, поскольку оно предполагает «борьбу с неопределенностью и быстро распространяю-щимися, часто невидимыми технологиями» [45, р. 2]. А.П. дель Кастильо обращает внимание на то, что для создания прозрачного и демократи-ческого игрового поля необходим минималь-ный набор правил и что в настоящее время в отсутствии какого-либо специального норма-тивного акта о робототехнике могут являться Директива ЕС по машиностроению 2006/42 / EC и Директива об ответственности за качество продукции 85/374 / EEC) [36, р. 10].

Во-вторых, сложности при сопоставлении функциональных возможностей систем искус-ственного интеллекта друг с другом, а также с возможностями квалифицированного специа- листа-оператора данной системы. В настоящее время имеется объективная необходимость в разработке стандартных процедур сравнения для того, чтобы иметь возможность оценить полезный эффект от использования систем ис-кусственного интеллекта.

О данной проблеме говорят и зарубежные исследователи. Например, Мартин Форд отмеча-ет: «Дело не только в безработице. Это также о неравенстве. Ведутся дебаты о том, будет ли эта технология заменять людей или это скорее шаг вперед, когда новые технологии работают наряду с людьми?» [42]. Другие ученые также анализи-руют различные аспекты проблемы занятости, порождаемой все более широким распростране-нием систем искусственного интеллекта.

Кей Ферт-Баттерфилд усматривает несом-ненную связь развития технологий искусствен-ного интеллекта с количеством рабочих мест и отмечает следующие потенциальные проблемы при использовании данных систем: «Эти про-блемы делятся на четыре основные категории: предвзятость, прозрачность, ответственность и конфиденциальность. Значительная ценность бренда может быть потеряна, если будут при-няты неправильные решения об использовании искусственного интеллекта. Поэтому важно, чтобы различные регулирующие и другие ме-ханизмы управления были рассмотрены сейчас; быстрые темпы изменений в этой технологии таковы, что мы не можем ждать» [32].

В-третьих, идентифицированы проблемы интероперабельности, заключающиеся в отсут-ствии стандартных форматов представления данных, используемых либо получаемых с по-мощью систем искусственного интеллекта. От-сутствуют также требования к формированию обучающих и контрольных выборок, вследст-вие чего имеются существенные сложности для успешного встраивания систем искусственного интеллекта в информационно-коммуникацион-ную инфраструктуру.

В современном промышленном производ-стве наблюдается тенденция комбинирования аппаратного и программного обеспечения (hardware и software), это необходимо для того, чтобы технологии искусственного интеллекта приобрели большую практическую значимость. Не случайно исследователи отмечают, что «для прикладных систем потребность в комбинации различных методов искусственного интеллекта с функциональными приложениями становится все более серьезной» [60, р. 33].

В-четвертых группа проблем, возникаю-щих при создании и использовании систем ис-кусственного интеллекта, с нашей точки зре-ния, связана с конфиденциальностью процессов получения, обработки и использования боль-ших данных. Анализируя возможности приме-нения систем искусственного интеллекта в пра-воприменительной практике, Деннис Гарсия, помощник главного юрисконсульта Microsoft, отметил следующее: «Чтобы системы искусст-венного интеллекта могли предоставлять цен-ные услуги, в основном им необходимо иметь доступ и использовать большие объемы дан-ных. Системы искусственного интеллекта так-же, вероятно, будут генерировать значительные объемы информации. В результате покупатель услуг, связанных с использованием искусст-венного интеллекта, должен понимать, как по-ставщик решений искусственного интеллекта защищает и использует свои данные» [44]. Об-разное высказывание «IoT could feed the `big data beast'» [39] вполне отражает те проблемы, которые могут возникнуть в связи с использо-ванием больших данных.

Таким образом, вопрос о конфиденциаль-ности тесно связан с большими данными (Big Data) и является весьма актуальным. Их ис-пользование больших данных необходимо для эффективного функционирования систем ис-кусственного интеллекта, что порождает це-лый комплекс правовых и этических вопросов, в частности о границах использования персо-нальных данных. В Европейском Союзе уже действует процедура PIA (privacy impact assessment) - оценка влияния функционирова-ния роботов и иных подключаемых к Интер-нету устройств на конфиденциальность персо-нальных данных. Она регулируется специаль-ным актом по сбору, обработке и хранению больших данных - General Data Protection Regulation (GDPR), согласно которому каж-дому гражданину также предоставляется пра-во на заявление возражений в отношении фак-та осуществления в отношении него сбора данных (профайлинга) и обработки его ре-зультатов, способной оказать существенное влияние на его права и обязанности.

Полагаем, однако, что в данной сфере не-обходимо более масштабное правовое регули-рование: законодатель, осуществляя правовую и / или техническую регламентацию процессов функционирования искусственного интеллекта, должен иметь в виду базовые принципы, на ос-нове которых эти процессы построены, а имен-но автономность и непрозрачность. Andrea Ottolia, анализируя особенности использования больших данных в деятельности систем искус-ственного интеллекта, весьма образно указала на следующую его особенность: «Большинство систем искусственного интеллекта являются “системами черных ящиков”» [55].

В науке идут дискуссии о том, каким обра-зом можно регламентировать использование больших данных, предлагаются различные пра-вовые режимы - авторского права либо смеж-ных прав, коммерческой тайны, антимонополь-ное регулирование и т. д.

В отношении авторско-правовой охраны, предоставляемой компьютерным програм-мам, следует отметить, что она не распро-страняется на содержание данных, охрана предоставляется форме произведения. Поэто-му невозможно использовать ее для охраны, например, персональных данных. Что касает-ся охраны в качестве баз данных, то эти дан-ные, используемые системами искусственно-го интеллекта система может самостоятельно структурировать, делать выборки в соответ-ствии с заданными самой этой системой па-раметрами, не придерживаясь заданного раз-работчиком этой базы принципа подбора и расположения материала.

Режим коммерческой тайны применим лишь для охраны информации, имеющей дей-ствительную или потенциальную коммерче-скую ценность, в то время как и иные данные могут быть важны для функционирования сис-тем искусственного интеллекта.

С нашей точки зрения, антимонопольное законодательство в этом отношении может быть наиболее полезным, поскольку обладает надлежащими возможностями в предотвраще-нии монополизации процессов сбора, обработ-ки и хранения данных, использование его инст-рументов способно облегчить доступ к данным, однако необходимо это делать не только в со-ответствии с нормами права, но и определен-ными техническими стандартами.

Таким образом, целый ряд исследователей правовых, социальных, экономических и иных проблем разработки и использования систем искусственного интеллекта приходят к выводу о необходимости унификации и стандартиза-ции процедур в данной сфере. Необходимо как можно более точно прогнозировать и решать взаимосвязанные технологические и правовые проблемы, которые возникнут, когда использо-вание роботов станет повсеместным, они будут широко внедрены во все сферы жизни общест-ва. А мы полагаем, что такое внедрение про-изойдет в ближайшее десятилетие. Именно по-этому вопросы, касающиеся стандартов пове-дения автономных роботов, тесным образом связаны с безопасностью их использования.

Считаем также, что в современных услови-ях цифровизации очередной этап правового регулирования отношений, складывающихся в сфере сбора, хранения и использования боль-ших данных, а также в сфере интеллектуальной собственности связан с необходимостью уни-фикации и стандартизации систем искусствен-ного интеллекта и технологии блокчейн.

Унификация позволяет выработать единые подходы к правовой регламентации соответст-вующих отношений, в результате чего проис-ходит не только сближение законодательства различных стран, но и совершенствование пра-воприменительной практики. Начало процессу установления унифицированных требований к процедурам и средствам хранения больших данных, используемых при разработке, тести-ровании и эксплуатации систем искусственного интеллекта было положено сначала на между-народном уровне.

При обращении к анализу международного правового регулирования в указанной сфере становится очевидно, что еще начиная с 2000 г., в период бурного, революционного развития информационно-телекоммуникацион-ных технологий, осуществлялось принятие в первую очередь актов общего характера - про-граммных документов, признающих современ-ный этап развития общества в качестве инфор-мационного общества и закрепляющих основ-ные его характеристики.

Не случайно в указанный период по итогам Всемирной встречи на высшем уровне по во-просам информационного общества в Женеве (декабрь 2003 г.), а также встречи, состоявшей-ся в Тунисе (ноябрь 2005 г.), были приняты весьма значимые документы: Окинавская хар-тия глобального информационного общества, План действий Тунисского обязательства и др., в которых основной целью, стоящей перед современным обществом, было провозглашено ускорение процессов формирования постинду-стриальных тенденций во всех сферах его жиз-ни - экономической, социально-политической и духовной. Декларация принципов по вопро-сам информационного общества, принятая в Женеве в 2003 г., провозгласила построение данного общества в качестве глобальной задачи в новом тысячелетии и определила принцип обеспечения повышения доверия и безопасно-сти при использовании информационных тех-нологий как один из ключевых.

Европейским парламентом в 2017 г. был опубликован Отчет с рекомендациями для Ко-миссии по гражданскому праву о правилах ро-бототехники, в котором было, в частности, от-мечено, что «тенденция к автоматизации требу-ет, чтобы те, кто занимается разработкой и коммерциализацией приложений искусствен-ного интеллекта, изначально строили систему безопасности и этики, тем самым признавая, что они должны быть готовы принять юриди-ческую ответственность за качество произво-димой ими технологии» (пункт N). Также под-черкивается необходимость сбалансированного подхода, предполагающего обязательность стандартизации аппаратного и программного обеспечения систем искусственного интеллекта и в то же время, недопустимость создания пре-пятствий инновациям.

Как отмечено в Рекомендации Парламент-ской ассамблеи Совета Европы № 2102 от 28 апреля 2017 г. «Слияние с технологиями, искусственный интеллект и права человека», законодателям все труднее адаптироваться к темпу развития науки и технологий и разраба-тывать необходимые нормативные акты и стан-дарты (п. 3), в связи с чем требуется разработать руководящие принципы, в частности, по вопро-су автоматической обработки операций, направ-ленных на сбор, обработку и использование пер-сональных данных, а также общие рамки стан-дартов (п. 9.1). В данном документе сделан важ-ный вывод о том, что любая машина, любой ро-бот или любой искусственный интеллект долж-ны оставаться под контролем человека.

В рамках Евразийского экономического союза принят технический регламент «О безо-пасности машин и оборудования», в котором, однако, не затронуты вопросы ответственности.

В течение последнего десятилетия основ-ные положения вышеобозначенных и иных стратегических, программных документов бы-ли внедрены в национальное законодательства целого ряда стран: в частности, Великобрита-ния, Германия, Китай, США, Япония, Южная Корея предпринимают важные шаги в направ-лении регламентации базовых стандартов в сфере робототехники и искусственного интел-лекта [2, с. 3; 26].

Японский Комитет по политике в сфере робототехники в качестве меры, позволяющей решить либо предотвратить проблемы, связан-ные с функционированием роботов нового по-коления, назвал в том числе разработку стан-дартов проектирования и производства робо-тов, где предполагается определить ответст-венность производителей за вред, причиненный действиями роботов [5, с. 216].

Российская Стратегия 2030 определяет ис-кусственный интеллект как комплекс техноло-гических решений. Данные решения могут быть объектами стандартизации, поскольку в соответствии с Федеральным законом от 29 июня 2015 г. № 162-ФЗ (ред. от 03.07.2016) «О стандартизации в Российской Федерации» (подп. 6 ст. 2), такими объектами могут являться: продукция (работы, услуги), процессы, системы менеджмента, терминоло-гия, условные обозначения, исследования (ис-пытания) и измерения (включая отбор образ-цов) и методы испытаний, маркировка, проце-дуры оценки соответствия и иные объекты.

Данный подход соответствует Стратегии развития информационного общества в Россий-ской Федерации, утвержденной Президентом РФ в 2017 г.⁶, и учитывает основные положения ния перечисленных выше международных до-кументов.

Методические рекомендации по внедре-нию интернета вещей для оптимизации контрольно-надзорной деятельности содержат определение понятия «промышленный интер-нет вещей, применяемый в контрольно-надзорной деятельности»: это совокупность автоматических или автоматизированных средств измерения, передачи и обработки дан-ных, систем реагирования и дистанционного мониторинга, обеспечивающих контрольно- надзорные органы достоверными сведениями о состоянии проверяемых объектов. Достовер-ность этих сведений может быть обеспечена только с помощью стандартизации. В данных рекомендациях также содержатся предложения об отказе от избыточного сбора персональных данных, ограничении его сообразно целям обработки, а также об установлении регламенти-рованного порядка их раскрытия, допустимых сценариев агрегации и деперсонификации.

На наш взгляд, при разработке, тестирова-нии и эксплуатации систем искусственного ин-теллекта необходима именно стандартизация - разработка норм технических стандартов, а не этических норм. Полагаем, что формулирова-ние норм этики применительно к системам ис-кусственного интеллекта так или иначе связано с попыткой наделить их определенным объе-мом правосубъектности, чего следует избегать. Мы придерживаемся подхода, изложенного в Стратегии 2030, и исходим из того, что искус-ственный интеллект - это технология, а не субъект права.

Стандартизация является одним из клю-чевых факторов, влияющих на модернизацию, технологическое и социально-экономическое развитие России, а также на повышение обо-роноспособности государства. Согласно ФЗ № 162-ФЗ «О стандартизации в Российской Федерации» (п. 4 ст. 2), «национальная систе-ма стандартизации» - механизм обеспечения согласованного взаимодействия участников работ по стандартизации (федеральный орган исполнительной власти, осуществляющий функции по выработке государственной поли-тики и нормативно-правовому регулированию в сфере стандартизации, федеральный орган исполнительной власти в сфере стандартиза-ции, другие федеральные органы исполни-тельной власти, Государственная корпорация по атомной энергии «Росатом» и иные госу-дарственные корпорации в соответствии с ус-тановленными полномочиями в сфере стан-дартизации, технические комитеты по стан-дартизации, проектные технические комитеты по стандартизации, комиссия по апелляциям, юридические лица, в том числе общественные объединения, зарегистрированные на террито-рии Российской Федерации, физические лица - граждане Российской Федерации) на основе принципов стандартизации при разработке (ведении), утверждении, изменении (актуали-зации), отмене, опубликовании и применении документов по стандартизации, предусмот-ренных статьей 14 указанного Закона, с ис-пользованием нормативно-правового, инфор-мационного, научно-методического, финансо-вого и иного ресурсного обеспечения.

Постановлением Правительства Россий-ской Федерации от 17 июня 2004 г. № 294 «О Федеральном агентстве по техническому регулированию и метрологии» на Федеральное агентство по техническому регулированию и метрологии (Росстандарт) возложены функции национального органа Российской Федерации по стандартизации.

Актуализация Концепции Национальной системы стандартизации осуществлялась на основе осмысления и фиксации новых целей и задач, стоящих перед национальной системой стандартизации в контексте необходимости ин-тенсификации экономического развития стра-ны, ее технологической модернизации, улуч-шения качества жизни населения, охраны ок-ружающей среды, усиления процессов инте-грации в рамках СНГ, образования Таможенно-го союза, расширения внешнеэкономической деятельности и активизации процессов, связан-ных с вступлением Российской Федерации в ВТО, а также подготовки заключения Согла-шения о сотрудничестве между Европейской организацией по стандартизацией (CEN / CENELEC) и Росстандартом.

В Российской Федерации был принят це-лый ряд документов по стандартизации в сфере интеллектуальной собственности, в частности: ГОСТ Р 55386-2012. Интеллектуальная собст-венность. Термины и определения (дата введе-ния 01.07.2014); ГОСТ Р 56824-2015. Интеллек-туальная собственность. Использование охра-няемых результатов интеллектуальной дея-тельности в сети Интернет (дата введения 01.06.2016); ГОСТ Р 58223-2018. Интеллекту-альная собственность. Антимонопольное регу-лирование и защита от недобросовестной кон-куренции (дата введения 01.12.2018); ГОСТ Р 58086-2018. Интеллектуальная собственность. Распределение интеллектуальных прав между заказчиком, исполнителем и автором на охра-няемые результаты интеллектуальной деятель-ности, создаваемые и/или используемые при выполнении научно-исследовательских, опыт-но-конструкторских, технологических и произ-водственных работ (дата введения 01.08.2018); ГОСТ Р 58347-2019. Интеллектуальная собст-венность. Противодействие распространению контрафактной и фальсифицированной про-дукции в области машиностроения. Методы и технологии защиты (дата введения 01.07.2019); ГОСТ Р 58348-2019. Интеллектуальная собст-венность. Противодействие распространению контрафактной и фальсифицированной про-дукции в области машиностроения. Требования к процессам закупки, приемки и утилизации (дата введения 01.07.2019) и др.

Актуальность принятия данных стандартов тем более очевидна в связи с тем, что в россий-ской практике нерешенными являются пробле-мы договорной и внедоговорной ответственно-сти, ущерба, правового статуса роботов, их создателей, третьих лиц, вопросы конфиденци-альности, безопасности, защищенности.

В финансовой сфере была сформирована Регулятивная площадка Банка России для вне-дрения и апробации новых финансовых серви-сов и технологий искусственного интеллекта, требующих изменения правового регулирова-ния. На данной площадке будут моделировать-ся процессы применения новых цифровых фи-нансовых услуг, продуктов и технологий для их проверки в работе. По результатам этой работы технология может быть в дальнейшем одобрена и применена с необходимой нормативно-правовой базой. Такая площадка даст должную оценку эффективности новых финансовых тех-нологий, а также будет содействовать оптими-зации действующего законодательства (под-робнее см. [17, с. 209-216]).

Это свидетельствует о том, что вопросам интеллектуальной собственности в системе нормативно-технического регулирования уде-ляется серьезное внимание.

Для повышения эффективности работ по стандартизации в области искусственного ин-теллекта на национальном, межгосударствен-ном и международных уровнях в России был создан Технический комитет по стандартиза-ции 164 «Искусственный интеллект» (Техниче-ский комитет 164). Основной задачей Комите-та является создание нормативно-технической базы и продвижение российских стандартов на международный уровень.

Техническому комитету 164 было предос-тавлено право участвовать в работе междуна-родных технических комитетов (с правом голо-сования) по согласованию с Федеральным агентством по техническому регулированию и метрологии, а также исполнение функций по-стоянно действующего национального органа в ISO/IEC JTC 1 SC 42 «Artificial Intelligence» (Международный комитет по стандартизации в сфере искусственного интеллекта).

На международном уровне в настоящее время разработаны следующие стандарты: ISO / МЭК 20546:2019 Информационные тех-нологии. Большие данные, ISO / IEC TR 20547-2:2018 Информационные технологии. Эталон-ная архитектура больших данных. Часть 2: Ва-рианты использования и производные требова-ния, ISO / МЭК 20547-3:2020 Информационные технологии. Эталонная архитектура больших данных. Часть 3: Эталонная архитектура;

ISO / IEC TR 20547-5:2018 Информационные технологии. Эталонная архитектура больших данных. Часть 5: Дорожная карта стандартов.

В перспективе: разработка терминологии в сфере искусственного интеллекта; стандартов для систем искусственного интеллекта с ис-пользованием машинного обучения; управле-ния рисками; нормативно-технического регу-лирования предвзятости в системах искусст-венного интеллекта и принятии решений с его помощью; надежности искусственного интел-лекта; стандарт оценки надежности нейронных сетей; обзор примеров использования; этиче-ских и социальных проблем; вычислительных подходов для систем искусственного интеллек-та; структура управления процессами для ана-лиза больших данных; анализ управленческих последствий использования искусственного интеллекта организациями.

Таким образом, нормы, оформляющие процесс цифровизации в целом и регламенти-рующие процессы создания и использования систем искусственного интеллекта, роботов постепенно включаются в национальные зако-нодательства всех развитых стран.

Заключение

Анализ показал, что в связи с выявленным и постоянно меняющимся составом высоких технологий, подпадающих под определение искусственного интеллекта, заявляют о себе разнопорядковые вопросы, которые делятся на группы. Ряд вопросов правового регулирования в данной сфере уже решены и потеряли свою актуальность для передовой юридической нау-ки (правосубъектность технологии искусствен-ного интеллекта); ряд вопросов может быть урегулирован с помощью имеющихся правовых механизмов (анализ персональных данных и иной информации в ходе применения техноло-гии вычислительного интеллекта для принятия решений); а часть требует новых подходов пра-вовой науки (выработка правового режима sui generis для результатов деятельности техноло-гии искусственного интеллекта при условии получения оригинального результата).

Решением для юристов, и в первую оче-редь для правоприменителей, может стать раз-ветвленная система стандартизации технологий искусственного интеллекта и результатов ее применения.

Библиографический список

искусственный интеллект право

1. Arkhipov V. V., Naumov V. B. O nekoto- rykh voprosakh teoreticheskikh osnovaniy razvitiya zakonodatel'stva o robototekhnike: aspekty voli i pravosub ”ektnosti [On Certain Issues of Theoretic Grounds for Development of Robotics Legislation: the Aspects of Will and Legal Personality]. Zakon - ZAKON. 2017. Issue 5. Pp. 157-170. (In Russ.).

2. Britanskie zakonodateli namereny regu- lirovat ' iskusstvennyy intellekt [British Lawmakers Intend to Regulate Artificial Intelligence]. Otkrytye sistemy. SUBD - Open Systems. DBMS. 2016. Issue 4. Pp. 3-9. (In Russ.).

3. Gurko A. V. Iskusstvennyy intellekt i av- torskoe pravo: vzglyad v budushchee [AI and Cop¬yright: Looking into Future]. Intellektual'naya sobstvennost '. Avtorskoe pravo i smezhnye prava - Intellectual Property. Copyright and Related Rights. 2017. Issue 12. Pp. 7-18. (In Russ.).

4. Jones M. T. Printsipy raboty rekomenda-

tel 'nykh mekhanizmov Interneta [The Principles of Advisory Mechanisms of the Internet]. Available at: https://www.ibm.com/developerworks/ru/ li-

brary/os-recommender1/index.html (In Russ.).

5. Ermolina D., Perevalov V. Pravovoy

rezhim ob "ektov intellektual 'noy sobstvennosti, sozdannykh s ispol 'zovaniem iskusstvennogo intel- lekta [Legal Regime of Intellectual Property Ob¬jects Created with Using Artificial Intelligence]. Available at: http://www.rupto.ru/content/upload- files/s4 ermolina_perevalov.pdf (In Russ.).

6. Zgurovskiy M. Z., Zaychenko Yu. P. Os- novy vychislitel 'nogo intellekta [The Fundamentals of Computational Intelligence]. Kiev, 2013. 406 p. (In Russ.).

7. Iriskina E. N., Belyakov K.O. Pravovye aspekty grazhdansko-pravovoy otvetstvennosti za prichinenie vreda deystviyami robota kak kvazi- sub"ekta grazhdansko-pravovykh otnosheniy [Le¬gal Aspects of Civil Liability for Causing Harm by the Actions of a Robot as a Quasi-Subject of Civil

Law Relations]. Gumanitarnaya informatika - Humanitarian Informatics. 2016. Issue 10. Pp. 63¬72. (In Russ.).

8. Kashanin A. V. Minimal'nyy uroven' tvorcheskogo kharaktera proizvedeniy v avtorskom prave Germanii [The Minimum Level of the Crea¬tive Nature of Works in German Copyright]. Zako- nodatel'stvo i ekonomika - Legislation and Econ¬omy. 2009. Issue 12. Pp. 48-57. (In Russ.).

9. Morkhat P. M. Iskusstvennyy intellekt: pravovoy vzglyad: Nauchnaya monografiya [Ar¬tificial Intelligence: Legal View: Scientific Mono¬graph]. Moscow, 2017. 257 p. (In Russ.).

10. Morkhat P. M. Pravosub”ektnost'

iskusstvennogo intellekta v sfere prava intellek- tual 'noy sobstvennosti: grazhdansko-pravovye

problemy: dis. ... d-rayurid. nauk [Legal Personal¬ity of Artificial Intelligence in Intellectual Property Law: Civil Law Problems: Dr. jurid. sci. diss.]. Moscow, 2018. 420 p. (In Russ.).

11. Neznamov A. V. K voprosu o primenenii tekhnologiy iskusstvennogo intellekta v pravosudii: terminologicheskiy aspekt [On Application of Ar¬tificial Intelligence Technologies in Justice: a Ter¬minological Aspect]. Arbitrazhnyy i grazhdanskiy protsess - Arbitrazh and Civil Procedure. 2019. Issue 10. Access from the legal reference system `Consultant Plus' (In Russ.).

12. Osnovnye tendentsii razvitiya prava in- tellektual'noy sobstvennosti v sovremennom mire, v tom chisle novye ob ”ekty intellektual 'nykh prav i global 'noy zashchity [The Main Trends in the De¬velopment of Intellectual Property Law in the Modern World, Including New Objects of Intellec¬tual Rights and Global Protection]. Moscow, 2017. 213 p. (In Russ.).

13. Ponkin I. V., Red'kina A. I. Iskusstven¬nyy intellekt s tochki zreniya prava [Artificial In¬telligence from the Point of View of Law]. Vestnik Rossiyskogo universiteta druzhby narodov. Seriya: Yuridicheskiye nauk - RUDN Journal of Law. 2018. Vol. 22. Issue 1. Pp. 91-109. (In Russ.).

14. Pravosub”ektnost': obshcheteoreti-

cheskiy, otraslevoy i mezhdunarodno-pravovoy analiz [Legal Personality: General-Theoretical, Branch-Specific and International Legal Analysis]. Materialy k XII Ezhegodnym nauchnym chteniyam pamyati S. N. Bratusya: Sb. nauch. st. / A. V. Ga¬bov i dr. [Materials for the XII Annual Scientific Readings to the Memory of S.N. Bratus: Collection of Scientific Articles; A.V. Gabov et al.]. Moscow, 2017. 434 p. (In Russ.).

15. Prokopenko N. Yu. Sistemy podderzhki prinyatiya resheniy: ucheb. posobie [Decision- Support Systems: Tutorial]. Nizhny Novgorod, 2017. 188 p. (In Russ.).

16. Rakhmatulina R. Sh. Kontseptual'nye osnovy postroeniya sistemy ob”ektov avtorskogo prava [Conceptual Framework for Building a Sys¬tem of Copyright Objects]. Moscow, 2020. (In Russ.).

17. Rakhmatulina R. Sh., Sviridova E. A., Savina V.S. Pravovoe regulirovanie iskusstvenno¬go intellekta i robotizatsii - novyy etap razvitiya ekonomiki [Legal Regulation of Artificial Intelli¬gence and Robotization - a New Stage of Econom¬ic Development]. Gumanitarnye i yuridicheskie issledovaniya - Humanities and Law Studies. 2019. Issue 4. Pp. 209-216. (In Russ.).

18. Sannikova L. V., Kharitonova Yu. S. Novye tekhnologii i pravo: sovremennyy pravovoy podkhod k tekhnologii raspredelennogo reestra [New Technologies and Law: a Modern Legal Ap¬proach to the Distributed Registry Technology]. Aktual'nye problemy rossiyskogo prava - Actual Problems of Russian Law. 2019. Issue 4 (101). Pp. 62-69. (In Russ.).

19. Sannikova L. V., Kharitonova Yu. S. Tsi- frovye kompetentsii yurista: problemy formirova- niya: monografiya [Digital Competencies of a Lawyer: Problems of Formation: Monograph]. Moscow, 2020. (In Russ.).

20. Sesitskiy E. P. Problemy pravovoy ok- hrany rezul'tatov, sozdavaemykh sistemami iskus¬stvennogo intellekta: dis. ... kand. yurid. nauk [Problems of Legal Protection of the Results Created by AI Systems: Cand. jurid. sci. diss.]. Moscow, 2018. 218 p. (In Russ.).

21. Skobtsov Yu. A. Osnovy evolyutsionnykh vychisleniy [The Fundamentals of Evolutionary Computation]. Donetsk, 2008. 326 p. (In Russ.).

22. Rassel S., Norvig P. Iskusstvennyy intel¬lekt. Sovremennyy podkhod. 2-e izdanie [Artificial Intelligence: a Modern Approach. 2nd ed.]. Mos¬cow, 2007. (In Russ.).

23. Kharitonova Y. S. K voprosu ob okhra- nosposobnosti rezul'tata deyatel'nosti iskusstven-nogo intellekta [On Protectability of the Result of Artificial Intelligence Activity]. Pravo budushche- go: intellektual'naya sobstvennost', innovatsii, Internet: Ezhegodnik / RAN. INION. Tsentr. sot- sial. nauch.-inform. issled. Otd. pravovedeniya; Kafedra predprinimatel'skogo prava MGU im. M.V. Lomonosova. Otv. red. Afanas'eva E.G. [Law of the Future: Intellectual Property, Innovation, the Internet: Yearbook. RAS. INION. Centre for So-cial Scientific and Information Research. Depart¬ment of Legal Studies. Chair of Entrepreneurial Law, Lomonosov Moscow State University; ed. by E. G. Afanas'eva ]. Moscow, 2018. Issue 1. (In Russ.).

24. Chto takoe tsifrovaya ekonomika? Tren¬dy, kompetentsii, izmerenie. Dokl. k XXApr. mezh- dunar. nauch. konf po problemam razvitiya eko- nomiki i obshchestva, Moskva, 9-12 apr. 2019 g. / G. I. Abdrakhmanova, K. O. Vishnevskiy, L. M. Gokhberg i dr.; nauch. red. L. M. Gokhberg; Nats. issled. un-t `Vysshaya shkola ekonomiki' [What is the Digital Economy? Trends, Competencies, Measurement. Report at the XX April International Scientific Conference on the Problems of Econom¬ic and Social Development. Moscow. April 9-12, 2019; G. I. Abdrakhmanova, K. O. Vishnevskiy, L.M. Gokhberg et al.; ed. by L. M. Gokhberg]. Moscow, 2019. 82 p. (In Russ.).

25. Entin V. L. Avtorskoe pravo v vir- tual'noy real'nosti (novye vozmozhnosti i vyzovy tsifrovoy epokhi) [Copyright in Virtual Reality (New Opportunities and Challenges of the Digital Age)]. Moscow, 2017. 216 p. (In Russ.).

26. Automatisiertes und Vernetztes Fahren:

Bericht der Ethik-Kommission, juni 2017. Ein- gefugt durch den Bundesminister fur Verkehr und digitale Infrastruktur. Available at: https ://www.bmvi. de/SharedDocs/DE/Publikatione n/DG/bericht-der-ethik-kommission.html?nn= 12830>; https ://www.bmvi. de/SharedDocs/DE/

Publikationen/DG/bericht-der-ethik-kommis- sion.pdf? blob=publicationFile (In Germ.).

27. Belluz J. 3 Ways AI is Already Chang¬ing Medicine. They Might Surprise You. Available at: https://www.vox.com/science-and-health/2019/ 3/15/18264314/ai-artificial-intelligence-deep- medicine-health-care (In Eng.).

28. Bettinger T. Der Werkbegriff im Spanis- chen und Deutschen Urheberrecht. Munich: Verlag C.H. Beck, 2001. (In Germ.).

29. Bezdek J. C. What is Computational In¬telligence? Computational Intelligence Imitating Life. January 1994. (In Eng.).

30. Bobadilla J., Ortega F., Hernando A., Gutierrez A. Recommender Systems Survey, Knowledge-Based Systems. 2013. Vol. 46. Pp. 109-132. (In Eng.).

31. Bostrom N. Superintelligence: Paths, Dangers, Strategies. Oxford: Oxford University Press, 2016. (In Eng.).

32. Cath C. et al. Governing Artificial Intel¬ligence: Ethical, Legal and Technical Challenges and Opportunities. Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences. 2018. Vol. 376. Issue 2133. (In Eng.).

33. Cohn G. Up for Bid, AI Art Signed `Al¬gorithm'. New York Times. October 22, 2018. Available at: https://www.nytimes.com/2018/10/ 22/arts/design/christies-art-artificial-intelligence- obvious.html (accessed 12.03.2020). (In Eng.).

34. Copeland B. J. Artificial Intelligence, Encyclopedia Britannica. Available at: https://www.britannica.com/technology/artificial- intelligence (In Eng.).

35. De Costa F. A., Carrano A. G. Intellec¬tual Property Protection for Artificial Intelligence. Westlaw Journal Intellectual Property. August 30, 2017. Available at: https://www.finnegan.com/ print/content/46173/Intellectual -Property-Protec- tion-for-Artificial-Intelligence.pdf?q= (In Eng.).

36. Del Castillo A. P. A Law on Robotics and Artificial Intelligence in the EU? European Trade Union Institute. The Foresight Brief. Sep¬tember 2017. Issue 2. 11 p. Available at: https://www.etui.org/Publications2/Foresight- briefs/A-law-on-robotics-and-artificial-intelli- gence-in-the-EU (In Eng.).

37. Deltorn J.-M., Macrez F. Authorship in the Age of Machine Learning and Artificial Intell i- gence. The Oxford Handbook of Music Law and Policy; ed. by S.M. O'Connor. Oxford University Press, 2019 (Forthcoming). Centre for Internation¬al Intellectual Property Studies (CEIPI) Research Paper No. 2018-10. 25 p. (In Eng.).

38. Dreier T., Schulze G. Urheberrechtsge-

setz. Urheberrechtswahrnehmungsgesetz, Kunstur- hebergesetz: Kommentar. Munich, 2004.

Vol. XVII. 1690 p. (In Germ.).

39. Dutton W. H. The Internet of Things. June 20, 2013. Available at: https://ssrn.com/ab- stract=2324902 (In Eng.).

40. Engelbrecht A. P. Computational Intelli¬gence: an Introduction. John Wiley & Sons, Ltd., 2007. 597 p. (In Eng.).

41. For a Brief Critical Analysis of the Ter¬minology and the Underlying Concept Herberger. NJW. 2018. 2825 p. (In Eng.).

42. Ford M. The Rise of the Robots: Tech¬nology and the Threat of Mass Unemployment. New York: Oneworld Publications, 2016. 352 p. (In Eng.).

43. Fromm F., Nordemann W. Urheberrecht. Stuttgart-Berlin-Cologne -Mainz, 1973. P. 68. (In Germ.).

44. Garcia D. Preparing for Artificial Intel¬ligence in the Legal Profession. Lexis Practice Ad¬visor Journal. July 06, 2017. Available at: https://www.lexisnexis.com/lexis-practice-advi- sor/the-journal/b/lpa/archive/2017/06/07/prepa- ring-for-artificial-intelligence-in-the-legal-pro- fession.aspx (In Eng.).

45. Graeme L., Harmon S., Arzuaga F. Fo¬resighting Futures: Law, New Technologies and the Challenges of Regulating for Uncertainty. Law, Innovation and Technology. 2012. Issue 4 (1).

Pp. 1-33. DOI: 10.5235/175799612800650626.

(In Eng.).

46. Hawkins J., Blakeslee S. On Intelligence. Times Books, Henry Holt and Co., 2004. 261 p. (In Eng.).

47. Hristov K. Artificial Intelligence and the Copyright Survey. 2019. DOI: 10.13140/ RG.2.2. 25023.87207. Available at: https://www.research- gate.net/publication/3 37387886_Artificial_Intellig ence_and_the_Copyright_Survey (In Eng.).

48. Schwab K. Die Vierte Industrielle Revo¬lution. Munich: Pantheon Verlag, 2016. 240 p. (In Germ.).

49. Leenes R., Lucivero F. Laws on Robots, Laws by Robots, Laws in Robots: Regulating Ro¬bot Behaviour by Design. Law, Innovation and Technology. 2014. Issue 6 (2). 32 p. Available at: https://papers.ssrn.com/sol3/papers.cfm?abstract_i d=2546759 (In Eng.).

50. Marks R. Intelligence: Computational Versus Artificial, IEEE Trans. Neural Networks. 1993. Issue 4. Pp. 737-739. (In Eng.).

51. Marsan N., Hill S. International Law and

Military Applications of Artificial Intelligence. Research Report `The Brain and the Processor: Unpacking the Challenges of Human-Machine In¬teraction'. Available at: https://www.jstor.

org/stable/resrep19966 (In Eng.).

52. McCarthy J. What is Artificial Intelli¬gence? Computer Science Department. Stanford University. November 12, 2007. Available at: http://www-formal.stanford.edu/jmc/whatisai/ whatisai.html (In Eng.).

53. Medeiros. The Startup Fighting Cancer with AI. Wired. 22.03.2016. Available at: