До питання прийняття рішень із застосуванням алгоритмів

Размещено на http://www.allbest.ru/

До питання прийняття рішень із застосуванням алгоритмів

Токарева В.О., кандидат юридичних наук, доцент, доцент кафедри цивільного права Національного університету «Одеська юридична академія»

Токарева В.О. ДО ПИТАННЯ ПРИЙНЯТТЯ РІШЕНЬ ІЗ ЗАСТОСУВАННЯМ АЛГОРИТМІВ

У статті розглянуті доктринальні та нормативні джерела ЄС та США, розгляд наявного досвіду використання алгоритмічних систем при прийнятті юридично значущих рішень. Юридично значущі рішення, які донедавна, приймалися людьми, такі як отримання соціальної виплати, банківського кредиту, укладення договору страхування, наразі, автоматизуються та передаються для оцінки ризиків системам ШІ.

Приділено увагу правовому регулюванню використання алгоритмічних систем при прийнятті юридично значущих рішень стосовно фізичних осіб відповідно до Регламенту ЄС 2016/679. Встановлено, що з огляду на різний рівень втручання людини у процес прийняття рішення розрізняють системи прогнозування: повністю автоматизованого прийняття рішень, які не залежать від участі людини та частково автоматизовані із остаточним прийняття рішення людиною. Конкретним методом інтелектуального аналізу даних є профілювання, яке залишає достатній простір для автономії та самовизначення особи. Розглянуто тлумачення профілювання відповідно до законодавства та західної доктрини. Здатність алгоритмізованих систем передбачати майбутні події, поведінку фізичної особи та надавати юридичну оцінку поведінці на підставі аналізу персональних даних та вчинків в мережі обумовлює поширення використання алгоритмізованих систем при прийнятті рішень. Розглянуті випадки використання алгоритмізованих системи які прогнозують поведінку у кримінальному судочинстві США та проблеми ухвалення за їх допомогою рішень. Як свідчить аналіз прийнятих судових рішень із застосуванням алгоритмізованих систем в США, їх використання свідчить про неупередженість по відношенню до окремих категорія осіб за ознаками статі, расової приналежності, освіти, тощо. Встановлено, шо в США прийняття рішень у кримінальному судочинстві за допомогою ШІ допускається із використанням алгоритмічної оцінки, водночас прийняття подібних рішень має бути достатньо мотивованим із посиланням на використанні інструменти та фактори покладені в обґрунтування прийнятого рішення. Прийняття такого рішення має бути засновано не лише на оцінці проведеній алгоритмом. Встановлено, що для уникнення негативних наслідків прийняття рішень із використанням алгоритмів має стати забезпечення у законодавстві права фізичної особи на роз'яснення юридично значущих рішень прийнятих алгоритмом.

Ключові слова: фізична особа, особисті немайнові права, права людини, цифрові права, персональні дані, захист персональних даних, дискримінація, цифровізація, штучний інтелект, профілювання.

Tokareva V.O. ON DECISION-MAKING WITH THE HELP OF ALGORITHMS

The article discusses the doctrinal and regulatory sources of the EU and the USA. The legal regulation of using algorithmic systems to automated individual decision-making, including profiling is revelead. Until recently, legally significant decisions that were made by humans, such as receiving a social benefit, a bank loan, or entering into an insurance contract, are now being automated and transferred to AI systems for risk assessment. The use of automated decision-making systems in the economic sector, public services based on big data analysis technologies, saves human resources and increases the efficiency of decision-making. алгоритмічний фізична особа персональний

The legal regulation of automated individual decision-making, including profiling regarding natural person in accordance with The EU General Data Protection Regulation 2016/679 is revealed. It has been established that due to the different level of human intervention in the decision-making process, forecasting systems are distinguished: fully automated decision-making that does not depend on human participation and partially automated with the final decision-making by a natural person. A specific method of data mining is profiling, which does not grant enough autonomy and self-determination of the individual. The interpretation of profiling in accordance with legislation and doctrine of USA and EU is considered. The algorithmic systems are able to predict future events, to impact on the behavior of a natural person and provide a legal assessment of a person's behavior based on the analysis of personal data and online activity. These characteristics of algorithmic systems led to common use automated individual decision-making. The doctrine of using algorithms to predict behavior of natural person and automated decision-making in the criminal justice system of the United States are considered. The analysis of court decisions provided in the United States with the help of algorithmic systems indicates the impartiality of algorithms to certain categories of persons by its features, gender, race affiliation and other. It has been established that the practice of automated decision-making allows to use risk assessment of natural person behavior in criminal proceedings in the USA. A court decision must be sufficiently motivated with reference to the tools and a should be based both algorithm decision and other legal evidence and tools. Decision-making with the help of an algorithm should be based on the principles of transparency and accountability was proven. It is established that in order to avoid negative consequences of decision-making using algorithms, the legislation should ensure the right of an individual to clarify legally significant decisions made by an algorithm.

Key words: natural person, personal moral rights, personal date, human rights, digital rights, data mining, data protection, discrimination, digitalization, artificial intelligence.

Постановка проблеми

З огляду на повсюдне проникнення інформаційно комунікаційних технологій, зростає значущість довіри до них та постає потреба розробки технологічно відкритих способів обробки даних. До того ж цінність та роль персональних даних в уявленні суспільства безповоротно змінюється. Зібранні персональні данні та отримані на їх підставі результати аналітики більше не можуть розглядатися в якості об'єктів права власності корпорацій які ними маніпулюють та використовують на власний розсуд без погодження із суб'єктами даних. Поряд із цим, поширення застосування систем автоматизованого прийняття рішень в економічній галузі, державних послуг, заснованих на технологіях аналізу великих даних та системах штучного інтелекту, дозволяє економити витрати людських ресурсів та покликано підвищити ефективність прийняття рішень.

Рішення, які донедавна, приймалися фізичними особами, як право на отримання соціальної виплати, банківського кредиту, укладення договору страхування, наразі, автоматизуються. Оскільки прийнятті юридично значущих рішень алгоритмами на підставі аналізу великих даних, можуть бути помилковими та спричиняти наслідки для суб'єктів даних, на компанії покладається обов'язки дотримання умов використання автоматизованих систем та отримання згоди суб'єкта даних для кожної мети обробки.

Метою статті є дослідження доктринальних та нормативних джерел ЄС та США, розгляд наявного досвіду використання алгоритмічних систем при прийнятті юридично значущих рішень та пошук інструментів спрямованих на уникнення негативних наслідків прийняття рішень із використанням алгоритмів.

Виклад основного матеріалу

Відповідно до ст. 22 Регламент ЄС 2016/679 передбачає право суб'єкта даних не піддаватися рішенню, яке засноване виключно на автоматизованій обробці персональних даних, у тому числі профілюванню, яке може викликати для нього юридичні наслідки або схожим чином суттєво впливати на нього настільки ж істотно, як, наприклад, автоматична відмова в онлайн-формі заявки на кредит або онлайн-рекрутингу без будь-якого посередництва людини.

Залежно від ступеня та якості втручання людини у процес прийняття рішення розрізняють системи прогнозування: повністю автоматизованого прийняття рішень, які не залежать від участі людини та частково автоматизовані із остаточним прийняття рішення людиною. У зв'язку із ризиком порушення прав людини, Регламент ЄС 2016/679 вимагає від суб'єктів господарювання не приймати рішення, яке засновані виключно на автоматизованій обробці персональних даних, тобто прийняття рішення системою штучного інтелекту. Для того щоб запобігти такій практиці на контролера даних, який здійснює профілювання, покладено обов'язок використовувати автоматизовану процедуру, спільно із остаточним прийняттям рішення людиною. Контролер зобов'язаний приймати заходи для запобігання прийняття рішень, заснованих на даних про расу, етнічне походження, політичні переконання, релігію, членство у профспілковій організації, генетичних схильностях, стану здоров'я або сексуальної орієнтації (п. 71 Преамбули). Слід зазначити, що дане положення Преамбули передбачає не виключення обробки спеціальних категорій персональних даних, а саме недопущення прийняття рішення на основі таких даних, означене обумовлено технологічною специфікою обробки значних обсягів даних, які не передбачають можливість виключення категорії даних із усього масиву інформації, водночас дозволяють не враховувати певні данні на етапі їх аналізу та прийняття рішення [1].

Аналіз великих даних для розвитку машинного навчання ставить питання прозорості застосування систем автоматизованого прийняття рішень та контролю над ним суб'єктами персональних даних, оскільки випадки прийняття рішень виключно системами, без участі людини залишалися поодинокими [1]. Припускається, що у технології автоматизованого прийняття рішень, мають бути визначені критерії задані користувачем, який має прийняти остаточне рішення. Наприклад, автоматизована програма для пошуку фахівців на зайняття вакантних посад обирає кандидатів за певними критеріями як вік, досвід роботи, а фізична особа оцінює навички претендентів, емоційний інтелект, які не можуть бути відображені у резюме та приймає остаточне рішенні. Відтак, коли фізична особа використовує лише інформацію надану системою, не приймаючи до уваги додаткові фактори, рішення є виключно автоматизованим.

Відповідно до п. 71. Преамбули Регламент ЄС 2016/679 допускає прийняття рішень, заснованих на автоматизованій обробці, включаючи профілювання, якщо це безпосередньо дозволено законодавством ЄС або держав-членів, суб'єктом якого є контролер, включаючи моніторинг шахрайства та ухилення від податків, запобіжних заходів, які провадяться відповідно до законодавства для забезпечення безпеки та надійності послуг, що надаються контролером, або необхідно для укладання або виконання договору між суб'єктом даних і контролером, або коли суб'єктом даних було надано пряму згоду. З метою забезпечення прав людини під час автоматизованого профілювання та прийняття рішень, які спричиняють юридично значущі наслідки ст. 22 Регламенту ЄС 2016/679 та ст. 11 Директиви про захист даних у кримінальних провадженнях 2016/680 [2], передбачає положення покликані захистити фізичних осіб та суворо приписує умови, при яких дозволяється використання системи алгоритмів при прийнятті рішень. Компанії мають право використовувати системи алгоритмів при прийнятті рішень лише у випадках, якщо це: необхідно для укладання або виконання договору; дозволено законодавством Союзу або держави-члена, що застосовується до контролера даних; явно виражена згода людини.

Якщо буквально тлумачити норму: «необхідно для укладання або виконання договору», то мало вірогідно, що вона саме уповноважує застосування систем алгоритмів для прийняття рішень. Дійсно, укладання договору страхування, кредитного договору, потребує оцінки ризику, водночас, складно собі уявити, щоб обов'язково ризик оцінювався за допомогою автоматизованої системи. Тож, таке положення як «необхідність» може тлумачитися як «дозвільна» вимога для укладання договору за допомогою системи алгоритмізованих рішень.

Так, Федеральний закон Німеччини про захист даних, який імплементує положення Регламенту ЄС 2016/679 у національне законодавство, передбачає у ст. 54, що прийняття індивідуальних рішень заснованих виключно на використанні систем алгоритмів які приносять юридично значущі наслідки для суб'єктів даних можливо застосовувати якщо це допускається законодавством [3]. Відповідно до ст. 42 Закону Нідерландів про захист персональних даних, передбачається дозвіл на використання системи алгоритмізованого прийняття рішень, яке базується на законі, в якому встановлюються заходи для захисту законних інтересів суб'єкта даних [4].

До виду автоматизованої обробки персональних даних п 4. ст. 4 Регламенту ЄС 2016/679 відноситься профілювання - будь-яка форма автоматичної обробки персональних даних, яка полягає у використанні персональних даних для оцінки певних особистих якостей фізичної особи, зокрема, для аналізу чи передбачення аспектів ефективності на роботі, економічного статусу, здоров'я, особистих переваг, інтересів, надійності, поведінки, місцезнаходження чи переміщення, які породжують правові наслідки, що стосуються суб'єкта даних чи істотно впливають на нього. Регламент ЄС 2016/679 визначає проведення профілювання, якщо вчинено: збір та аналіз персональних даних у великих масштабах з використанням алгоритмів, штучного інтелекту або машинного навчання; встановлення асоціацій для побудови зв'язків між різними патерами поведінки та атрибутами; створення профілів, які застосовуються по відношенню до фізичних осіб; прогнозування поведінки окремих фізичних осіб на підстав їх профілів.

Профілюваня передбачає аналіз персональних даних для класифікації осіб на певні групи та виявлення кореляцій між різними моделями поведінки та подальшого створення профілів осіб. Наслідком такого аналізу є нові дані про особу які стають частиною профілю. Автоматизовані системи прийняття рішень використовується для прогнозування поведінки кредитоспроможності, схильності до маргінальної поведінки, управління доступом до послуг, прогнозуванні стану здоров'я та ймовірності успішного лікування пацієнта [5].

В якості прикладу використання профілювання слід навести - «редлайнінг», який використовувався та, наразі, заборонений законодавством США, під яким розуміється відмова державними органами, суб'єктами підприємницької діяльності у продажі товарів, наданні послуг або підвищення їх вартості у певних районах міста, відзначених червою лінією [6]. Редлайнінг існував внаслідок расової сегрегації, збільшення демографічної концентрації людей, зі схожим соціальним статусом, умовами зайнятості та національної приналежності, які проживали у певному конкретному район та в результаті приналежності до певної расової групи або етнічної меншини [7]. Архітектори та забудовники при проектуванні забудови великих міст в США, будучи затятими расистами, від початку, проектували міста таким чином щоб жителям бідних районів, які складались переважно із мігрантів, було складно добратися до моря, центральної частини міста, інфраструктури, тощо. Саме дискримінація і стала підставою для заборони редлайнінгу.

За твердженням професора Р Кларка профілювання використовується державними установами для конструювання паттернів, виявленні яких зацікавлені державні органи, таких як, терористи, постачальники наркотиків, особи схильні до вчинення насильницьких злочинів, які ухиляються від сплати податків, шахраї у сфері соціального забезпечення, підлітки схильні до самогубства тощо. Профілювання використовується корпораціями, для виявлення споживачів, які можуть бути сприйнятливими до реклами товарів, послуг, а також претендентів на вакантні посади [8].

Л. Байгрейв визначає профілювання в якості об'єднання низки характеристик (профілю) про особу або організацію із подальшим поводження із особою відповідно до цих характеристик [9].

М. Хільдебрандт звертає увага на такі аспекти профілювання як процес встановлення зразків різних даних, які можуть використовуватися для ідентифікації особи та застосування профілів (низки корелюючих даних) для індивідуалізації суб'єкта або для його ідентифікації його як члена групи [10].

В означених підходах акцентується увага на таких властивостях профілювання як пошук інформації за визначеними критеріями, зв'язок даної інформації із конкретною особою, використання інформації для ідентифікації особи або для поводження із особою певним чином. В аспекті роботи із інформацією профілювання проявляється у тому, щоб відійти від того, що знання є результатом перевіреної гіпотези.

За твердженням Є.В. Талапіної поряд із тим, що застосування профілювання торкається захисту персональних даних, наразі, Регламент певною мірою врегулював питання прийняття рішень із застосуванням автоматизованих систем та алгоритмів. Науковець називає проблемою застосування алгоритмізованих рішень - низький рівень обізнаності суб'єктів даних про можливість застосування по відношенню до них технологій профілювання та автоматизованого прийняття рішень, обізнаності щодо збору та обробки персональних даних та способів їх використання у майбутньому. Разом з цим, як буде розглянуто далі це не єдина проблема [11].

Відтак, поширення використання алгоритмів пов'язується із здатністю систем штучного інтелекту передбачати майбутні події, поведінку фізичної особи та надавати юридичну оцінку поведінки фізичної особи на підставі аналізу персональних даних та поведінки в мережі. У зв'язку із розслідуванням злочинів у сфері статевої свободи та недоторканності в США та окремих державах членах ЄС набули використання алгоритмізовані системи які прогнозують поведінку, дають оцінку та приймають юридично значущі рішення щодо фізичних осіб в межах кримінального судочинства.

У Франції використання алгоритмів для оцінки поведінки особи не дозволяється окремими нормативними актами, водночас дозволяється іншими. Відповідно до ст. 47 Закону Франції про інформатику, картотеки та свободи (1978) зазначено, що судові рішення, які передбачають оцінку поведінки фізичної особи, не можуть ґрунтуватися на автоматизованій обробці персональних даних. Проте прийняття Закону № 2019-222 від 23 березня 2019 р. Про програму та реформу системи правосуддя, внесені зміни у діюче законодавство, а саме доповнення Закону № 2016-1547 від 18 листопада 2016 р. Про цифрову республіку, статтею, про те, що процедури примирення, посередництва та третейського розгляду, які проводяться онлайн, не можуть ґрунтуватися виключно на алгоритмічній або автоматизованій обробці персональних даних. Відтак, використання алгоритму для оцінки поведінки фізичної особи людини в межах судового процесу повністю не заборонено, водночас прийняття рішення не може ґрунтуватись виключно на результаті аналізу системи [11]. Закон Франції № 2019-222 від 23 березня 2019 р. Про програму та реформу правосуддя відкриває доступ суспільству до рішень суддів в електронному вигляді та, як припускається, має стати базою для розвитку систем штучного інтелекту здатного передбачити, майбутні рішення судів з урахуванням попередніх рішень. Проте така система, поряд із передбаченням результату рішення не зможе надати належне правове аргументування, оскільки облік минулих рішень не є достатнім для розгляду справи у континентальній правовій системі. Алгоритм не здатен поки обробляти складні правові ситуації, де загальне правило застосовується до конкретного випадку, а може лише обмежуватися однотипними ситуаціями. Поряд із розвитком програм-додатків для вирішення рутинних правових питань, які дають результати на підставі аналізу прийнятих минулих судових рішень, які є актуальним у державах загального права, у континентальній правовій системі рішення суддів не мають силу прецеденту, а судова практика не є єдиною та не збігається у різних регіонах держави, подібні програми не настільки затребувані.

В системі кримінального судочинства США на різних його етапах запроваджено понад 60 автоматизованих систем, серед яких спеціальний алгоритм PSA (Public Safety Assessment) або COMPAS (Courcional Offender Management Profiling for Alternative Sanctions), який застосовується при прийнятті рішень [12]. Використання алгоритмів прогнозування поведінки людини піддається критиці, оскільки прогностичний результат не дає правдивої істини на 100%, а орієнтовна передбачуваність коливається біля 65%. Таким чином, саме використання суддею прогностичного алгоритму при прийнятті рішення по суті справи, нівелює реалізацію права на справедливий суд, зокрема, у разі спроби судді реалізувати рекомендацію алгоритму буквально [13]. Зокрема, проблема перевантаженої судової системи стосується як України так і США, а тому перед людиною постає висока спокуса використати пропозицію згенеровану алгоритмом. Власне, відпочатку, застосування алгоритмів у судовій практиці мало на меті розвантажити її [14].

Законність рішень, які приймаються з використанням алгоритмів дедалі більше стають предметом розгляду та оскарження у судах оскільки вони справляють істотний вплив на правах фізичних осіб. У Х'юстоні в США результати таємного застосування алгоритму для оцінки ефективності роботи та впливу вчителів на учнів, були використанні для звільнення вчителів. Алгоритм, який використовувався, був частиною освітньої системи рейтингу вчителів, створеної технологічною фірмою SAS, яка розглядала алгоритм та програмне забезпечення, як комерційну таємницю та деталі роботи системи та оцінювання ефективності не розголошувалися. За твердженням судді система не давала пояснень яким чином вчителю підвищити рейтинг. Суд виніс рішення про порушення прав вчителів, через необґрунтованість та непрозорість рішень системою [15].

Як свідчить аналіз справи State vs Loomis, розглянутій у 2017 році Верховним судом штату Вісконсін. Обвинувачений Ерік Луміс оскаржив до Верховного суду штату Вісконсін вирок прийнятий із використанням алгоритму, із вимогою переглянути рішення та використання алгоритму. Програма аналізує окремі факти та обставини справи та дає обвинуваченому певну оцінку, з урахуванням якої суддя можуть пом'якшити або посилити рішення. Обвинувачені не мають доступу до програми та не можуть отримати пояснення чинників за якими, ним надається статус «небезпечного для суспільства». Крім того, права технологію алгоритмізованого прийняття рішення COMPAS, яка використовується у США належить приватному суб'єкту господарської діяльності, є таємницею та не розкривається, а ні обвинуваченому, а ні судді. З тим і Лумісу було відмовлено у роз'ясненні прийнятого рішення. Представники обвинуваченого в суді стверджували, що програма COMPAS є недосконалою та приймає вельми узагальнені висновки, прогнозує майбутню поведінку особи з огляд такі дані, як стать, вік та використовує критерії оцінки підсудного, які не розголошується. Відтак перед судом постало питання допустимих меж використання алгоритмів для передбачення поведінки суб'єкта. Суд зазначив, що алгоритмічна оцінка може не прийматися до уваги та перевага віддаватися іншим даним, водночас за будь-яких умов рішення має бути мотивовано із посиланням на використанні інструменти та фактори покладені у обґрунтування прийнятого рішення. Суд зазначив, що права Луміса дотримані, якщо прийняте судовє рішення не засновано лише на оцінці проведеній алгоритмом [16].

Слід зазначити, якщо донедавна в неупередженості звинувачували людей, то, наразі, перевірки прийняття судових рішень за допомогою алгоритмізованих систем свідчать про неупере- джені рішення по відношенню осіб за ознаками расової приналежності та статті. Результати перевірки показали, що система яка використовувалася у штатах Арізона, Колорадо, Делавер, Кентукі, Луісіана, Оклахома, Віргінія, Вашінг- тон Вісконсін, присвоювала особам із темною шкірою більш високий рівень ризику (майже двічі) у порівнянні із іншими. Разом з цим, компанія розробник залишила логіку прийняття рішень та прогнозування рівня ризику у таємниці через комерційну таємницю [17].

Підсумовуючи викладене, слід констатувати, що накопичено достатню практику застосування алгоритмів під час прийняття рішень, які свідчать про випадки негативного впливу на цивільні, політичні, економічні та соціальні права людини. Як уявляється правовим підходом, спрямованим на уникнення негативних наслідків прийняття рішень із використанням алгоритмів, має стати забезпечення прозорості та підзвітності алгоритмів та закріплення у законодавстві права на роз'яснення юридично значущих рішень прийнятих алгоритмом.

СПИСОК ВИКОРИСТАНОЇ ЛІТЕРАТУРИ

1. Жарова А.К. Правовое обеспечение цифрового профилирования деятельности человека. Вестник Южно-Уральского государственного университета. Серия: Право. 2020. № 2. С. 80-87.

2. Directive (EU) 2016/680 of the european parliament and of the council of 27 april 2016 on the protection of natural persons with regard to the processing of personal data by competent authorities for the purposes of the prevention, investigation, detection or prosecution of criminal offences or the execution of criminal penalties, and on the free movement of such data, and repealing council framework decision 2008/977/ URL: https://eur-lex.europa.eu/legal-content/EN/TXT/?uri= celex%3A32016L0680

3. Federal Data Protection Act (Bundesdaten- schutzgesetz, BDSG) URL: https://germanlawarchive.ius- comp.org/?p=712

4. Wet bescherming persoonsgegevens [Regeling vervallen per 25-05-2018.]URL: https://wetten.overheid. nl/BWBR0011468/2018-05-01

5. Чубукова С.Г. Защита прав субъекта персональ- ныхданных при автоматизированном принятии решений. Право и государство: теория и практика. 2020. № 3 (183). С. 212-214.

6. Министр транспорта США заявил, что американские дороги пора избавить от наследия расового неравенства. 12.11.2021. URL: https://meduza.io/ feature/2021/11/12/ministr-transporta-ssha-zayavil-chto- amerikanskie-dorogi-pora-izbavit-ot-naslediya-rasovogo- neravenstva-chto-pravda-byvayut-rasistskie-hayvei

7. Bosco F ., Creemers N ., Ferraris V . et al Profiling Technologies and Fundamental Rights and Values: Regulatory Challenges and Perspectives from European Data Protection Authorities . S . Gutwirth, R . Leenes, P . de Hert (eds .). Reforming European Data Protection Law. Berlin: Springer. 2014, pp . 3-33.

8. Clarke R.A. Profiling: A Hidden Challenge to the Regulation of Data Surveillance' J. L. & Inf. Sc. 4,2 (December 1993).

9. Bygrave L. A. Data protection law: Approaching its rationale, logic and limits. The Hague: Kluwer Law International, 2002, 456 р .

10. Hildebrandt M.. Rannenberg D., Royer A., Deuker (eds .). The Future of Identity in the Information Society. Challenges and Opportunities. Heidelberg: Springer, 2009, pр . 273-310.

11. Талапина Э.В. Обработка данных при помощи искусственного интеллекта и риски дискриминации право. Журнал высшей школы экономики. 2022. №1. С. 4-27.

12. Herrschaft Bryn A. Evaluating the reliability and validity of the Correctional Offender Management Profiling for Alternative Sanctions (COMPAS) 2014. URL: https:// rucore.libraries.rutgers.edu/rutgers-lib/46260/#citation- export

13. G'sell F . Les progres a petits pas de la «justice predictive» en France . ERA Forum, 2020, vol . 21, pp .299-310.

14. Глотова А.Нечеловеческий разум судебных решений URL: https://econs.online/articles/ekonomika/ nechelovecheskiy-razum-sudebnykh-resheniy/

15. Webb S. Houston teachers to pursue lawsuit over secret evaluation system. May 11, 2017 URL: https:// www.houstonchronicle.com/news/houston-texas/hous- ton/article/Houston-teachers-to-pursue-lawsuit-over-se- cret-11139692.php

16. State of Wisconsin v. Eric L. Loomis, July 13, 2016 2015AP157-CR. URL: https://law.justia.com/cases/ wisconsin/supreme-court/2016/2015ap000157-cr.html

17. Angwin J., Larson J., Mattu S., Kirchner L. Machine Bias May 23, 2016 URL: https://www.propublica.org/arti- cle/machine-bias-risk-assessments-in-criminal-sentencing

Размещено на Allbest.ru