Изменение доверия к журналистскому контенту в связи с распространением технологии дипфейк

На сайте neurohive Там же выложен пример кода, который позволяет создать собственную нейросеть GAN (код представлен в Приложении 1) и генерировать рукописные цифры на основе обучающих данных MNIST. Код написан на языке Python, как и большинство продуктов для машинного обучения (самый популярный инструмент для замены лиц в видео, DeepFaceLab, также интегрирован с Python). Для создания нейросетей в Python существует несколько библиотек, наиболее популярные из них - Keras и Pytorch. Эти библиотеки схожи по функционалу, но Keras имеет более низкий порог входа для начинающих специалистов. Keras - библиотека, созданная специалистом из Google Франсуа Шолле. Библиотека содержит простой, интуитивно понятный интерфейс, а ее создатель выпустил книгу "Глубокое обучение на Python", в которой раскрываются все тонкости работы с Keras. Pytorch - библиотека Facebook, изначально написанная на Lua, но затем интегрированная в Python, с помощью которой можно обучить модель быстро и эффективно.

Код, который мы будем разбирать в примере, написан на Keras. Рассмотрим функционал основных понятий, пользуясь определениями из книги Франсуа Шолле "Глубокое обучение на Python". Одно из основных понятий в нейронных сетях, которое является главным строительным блоком моделей глубокого обучения - это слой. Слои принимают на вход некоторые данные и выводят их в другой форме. Данные для слоев подаются в числовом формате и могут быть различными в зависимости от задач, которые стоят перед программистом. Эти данные называются тензорами, их вид указывает на то, какую информацию мы обрабатываем. Например, векторные данные или временные ряды представляются двумерными и трехмерными тензорами, изображения - четырехмерными тензорами, где измерениями являются образцы, высота, ширина и цвет, а видео - пятимерными тензорами, где пятым измерением становятся кадры.

Создание моделей глубокого обучения в Keras осуществляется путем объединения слоев в последовательности. Это прописывается с помощью импортируемого модуля models: models.тип_модели.add(…). В примере используется последовательная модель с одним слоем. Слой принимает на вход двумерные тензоры, первое измерение которого равно 786. Получается полносвязный слой с 32 выходными нейронами:

from keras import models

from keras import layers

model = models.Sequential()

model.add(layers.Dense(32, activation='relu', input_shape=(784,))) Шолле Ф. Глубокое обучение на Python. - СПб.: Питер, 2018. - С. 88.

Теперь мы можем создавать новые слои, при этом входные нейроны будут поданы автоматически из выхода предыдущего слоя, а выходные нейроны необходимо прописать в круглых скобках. Пусть их значение снова равняется 10:

model.add(layers.Dense(10, activation='softmax'))

В примере присутствует функция активации ("activation"), которая определяет выходной сигнал нейрона. В примере промежуточная функция активации - relu, которая используется для преобразования отрицательных значений в ноль. В последнем, выходном слое применяется сигмоидальная функция активации, которая выводит вероятность в интервале от 0 до 1, что образец данных принадлежит к заданному классу.

После того, как мы задали параметры модели, необходимо настроить процесс обучения, который начинается на этапе компиляции:

from keras import optimizers

model.compile(optimizer=optimizers.RMSprop(lr=0.001),

loss='mse',

metrics=['accuracy']) Там же

На этом этапе задается оптимизатор ("optimizer"), функция потерь ("loss") и метрики для мониторинга во время обучения ("metrics"). Оптимизатор определяет, "как будет изменяться сеть под воздействием функции потерь" Шолле Ф. Глубокое обучение на Python. - СПб.: Питер, 2018. - С. 84.. Функция потерь определяет "количественную оценку, которая будет минимизироваться в процессе обучения. Представляет собой меру успеха в решении стоящей задачи" Там же. Метрики качества позволяют понять, как обучалась модель в течение каждой эпохи (каждой итерации) и отследить, с какой эпохи началось переобучение модели.

Непосредственно процесс обучения содержится в следующем шаге - применении функции fit() на целевые данные. Внутри нее задается количество эпох, в течение которых будет обучаться модель. Так как одна эпоха слишком велика для обучения, принято делить весь датасет, который проходит сквозь нейросеть в течение одной эпохи, на батчи. Таким образом, размер батча - это число итераций, которые нужно пройти алгоритму для одной эпохи. Чем меньше размер батча, тем больше итераций потребуется:

model.fit(input_tensor, target_tensor, batch_size=128, epochs=10) Шолле Ф. Глубокое обучение на Python. - СПб.: Питер, 2018. - С. 89.

Теперь, когда у нас есть обученная модель, можно делать предсказание для тестовой выборки с помощью функции predict():

model.predict(test_data)

После разбора основных функций, необходимых для построения нейросетей, вернемся к разбору кода для GAN, который имеет некоторые особенности. В представленном коде из Приложения 1 создание GAN начинается с инициализации класса:

class GAN():

Внутри класса создано несколько методов, которые отвечают за работу модели. Метод __init__() задает параметры будущей нейросети. Внутри него выбирается тип оптимизатора, задается метрика качества, функция потерь. На этом этапе в качестве атрибутов экземпляра класса прописывается сборка и компиляция для дискриминатора и генератора, схожие с тем примером, что мы рассмотрели выше. В методе build_generator() описываются слои нейросети генератора. Аналогичное происходит в методе build_discriminator() для дискриминатора. В методе train() происходит отдельное обучение генератора и дискриминатора и их состязание. В случае, если сгенерированная цифра окажется похожа на реальную, она будет сохранена на следующем шаге - в методе save_imgs().

Мы рассмотрели принцип работы GAN и можем оценить сложность подобной модели для создания дипфейка. Несмотря на то, что шаги, описанные выше, выглядят понятно, о написании дипфейков с нуля непрофессионалами говорить сложно. Оговоримся, что мы не рассматриваем дипфейки, которые создаются по заданному шаблону с помощью программ Doublicat, DeepNude и других. Мы преимущественно говорим о дипфейках, которые обладают высоким качеством и, что важно, работают с пользовательским датасетом для обучения.

Для создания дипфейка требуется умение писать код, опыт в машинном обучении, в работе с нейронными сетями и мощный компьютер с поддержкой OpenCL видеокарт. Решения, предоставляющие вычислительные мощности (например, GoogleColab), не подходят из-за ограничений по времени сеанса. Можно арендовать вычислительные мощности на виртуальных серверах, но это не бесплатно, поэтому собственный компьютер с одной или несколькими мощными видеокартами выглядит оптимальным решением. Почему, несмотря на такую сложную реализацию, количество дипфейков все растет? Неужели в мире такое большое количество специалистов по машинному обучению?

В настоящее время для создания даже такого качественного дипфейка необязательно писать код с нуля: существует несколько решений, которые позволяют создать дипфейк, запуская последовательность команд в командной строке. Для того, чтобы разобраться с готовым решением, требуется гораздо меньше времени, чем на то, чтобы выучить основы машинного обучения. Одно из таких публичных доступных решений - репозиторий DeepFaceLab, опубликованный на гитхабе. Попытаемся создать собственный дипфейк, чтобы проверить, может ли это осуществить человек, который никогда не выполнял подобные задачи. В качестве инструкции мы взяли комментарий, который был опубликован на сайте proglib.io DeepFake-туториал: создаем собственный дипфейк в DeepFaceLab // proglib URL: https://proglib.io/p/deepfake-tutorial-sozdaem-sobstvennyy-dipfeyk-v-deepfacelab-2019-11-16#comments (дата обращения: 12.04.2020)..

Для начала необходимо установить DeepFaceLab на компьютер. Так как в эксперименте мы пользуемся AMD видеокартой, скачиваем с гугл-диска файл DeepFaceLabOpenCLSSE. После разархивирования папки в заданную директорию необходимо загрузить в папку workspace ролики, на которых мы будем обучаться. Затем мы переходим в командную строку и выполняем последовательность команд для извлечения кадров видео. После этого запускаем код, который находит во всех указанных кадрах лицо и заменяет его. На следующем шаге нам вручную предстоит очистить группы неудачных кадров: нечетких или таких, которые не содержат лицо. После этого происходит обучение и склейка кадров, на выходе мы получаем дипфейк-видео.

На обучение было потрачено несколько суток, включая подготовку: устранение ошибок, общение с пользователями данной библиотеки на форуме для уточнения непонятных деталей. В процессе обучения сложнее всего было подготовить данные и разобраться в форматах экспортируемых видео. У многих пользователей возникала ошибка с воспроизведением в формате mp4. Экспорт в формате AVI частично решал ошибку, но в экспортируемом видео возникали проблемы со звуком.

Таким образом, у нас получилось создать дипфейк, который на данный момент не обладает высоким уровнем достоверности. Это случилось из-за малого времени обучения, а также из-за неудачного подбора исходного датасета изображений и того видео, на которое они должны были накладываться. При большем времени обучения и при более аккуратном подборе исходных данных дипфейк мог бы получиться более качественным. Этим экспериментом мы смогли показать, что в настоящее время создание дипфейков - задача, доступная даже начинающим программистам при наличии ресурсов и достаточного времени на подготовку. Это и объясняет не только интерес к дипфейкам, но и то, что их количество постоянно растет. Несмотря на то, что на данный момент создателей дипфейков в основном интересует создание пародийных и порнографических роликов, ситуация может измениться. Например, может возникнуть интерес к созданию общественно-политических видео. Публикация такого дипфейка через каналы медиа может стать причиной серьезного конфликта, виновной в котором останется само средство массовой информации. Именно поэтому СМИ уже сейчас важно учиться отличать дипфейки от реальных фото, видео или аудио. В следующей части мы рассмотрим код, предложенный участниками соревнования Kaggle для обнаружения дипфейков, анализ которого поможет нам сформировать универсальные рекомендации по обнаружению дипфейков сотрудниками СМИ в условиях отсутствия технических средств.

2.2 Способы обнаружения дипфейков

Журналисты понимают, что появление дипфейков - это тот вызов, который им придется принять первыми, поэтому уже сейчас стараются подготовиться к тому, чем угрожает новая технология. Новостное агентство Reuters запустило бесплатный онлайн-курс для журналистов о том, как бороться с фейковой информацией Identifying and tackling manipulated media // Reuters URL: https://www.reuters.com/manipulatedmedia?utm_campaign=ProMedia%20Report&utm_medium=email&utm_source=Revue%20newsletter&fbclid=IwAR2uk8TKSlBF4lSrM0KCgGT5ErbGACj8JEKOXjBi39EHTEq_UOo5msaH2lc (дата обращения: 20.04.2020).. Среди материалов - иллюстративные примеры разных видов фейков и тесты для самопроверки после каждой части курса. Отдельная часть курса посвящена дипфейкам: рассказывается, как работает дипфейк, даются способы его обнаружения. Принцип работы алгоритма GAN представлен в виде комикса с пояснениями. Такой легкий способ подачи информации особенно важен, так как курс рассчитан на представителей отрасли, никак не связанной с машинным обучением. В курсе рассмотрены такие возможности дипфейков как замена лиц, добавление или удаление объектов в кадре, создание полностью искусственных изображений или аудиозаписей. Reuters призывает коллег критически изучать поступающий контент и перед публикацией отвечать на несколько вопросов. Первая группа вопросов - можем ли мы перепроверить полученную видеозапись, изображение или аудиодорожку? Имеем ли мы возможность получить метаданные файла или проверить картинки по соответствию в поисковике? Не кажется ли качество файла подозрительно низким? Нет ли дефектов в аудиозаписи, которые говорили бы о ее искусственном происхождении (неправильно расставленные акценты в речи, монотонность интонации говорящего)? И, наконец, опубликована ли в других СМИ похожая новость с кадрами, которые отличаются от полученных (возможно, снятые другим человеком)? Вторая группа вопросов - как была получена информация? Что мы знаем о людях, которые поделились с нами сведениями, можно ли с ними связаться, отвечают ли они на наши вопросы? Какая выгода может быть в случае публикации такой информации?

Reuters выделяет еще несколько способов обнаружения дипфейков, подчеркивая, что они быстро устаревают, так как сгенерированный контент становится все более реалистичным. Так, в курсе останавливаются на таких особенностях дипфейков как неестественная мимика, отсутствие "живости" глаз, странная интонация или акцент говорящего, рассинхронизация аудио и видео.

В качестве заключения Reuters пишет, что в обнаружении дипфейков также важно то, сколько таких видеозаписей вы посмотрели. "Смотрите все последние созданные дипфейки. Чем больше вы смотрите и знакомитесь с этим типом контента, тем больше у вас шансов обнаружить его" Identifying and tackling manipulated media // Reuters URL: https://www.reuters.com/manipulatedmedia/en/chapter-3-tackling-manipulated-media (дата обращения: 20.04.2020).. Исследования агентства Reuters показывают, что журналисты, следующие этим советам, с большей вероятностью способны обнаружить дипфейк среди реальных видео.

Распространение дипфейков всерьез беспокоит не только отдельных исследователей в области медиа, но и целые государства, где создаются специальные центры по борьбе с недостоверным контентом. Один из таких примеров - команда MediFor (сокращение от Media Forensics), созданная в США при на базе агентства DARPA. MediFor была создана, чтобы "выровнять ситуацию на игровом поле цифровых изображений, которая в настоящее время благоприятна для манипуляций, путем разработки технологий автоматизированной оценки изображений или видео" Министерство обороны США попытается решить проблему deepfake // Хабр URL: https://habr.com/ru/news/t/463395/ (дата обращения: 12.04.2020).. Проект запустили в 2016 году, и он боролся с видео, полученными в процессе недобросовестного монтажа, но оказался действенен в борьбе с дипфейками. Изначально создавалась система, которая обнаруживает фейковые видео на трех уровнях. На первом уровне алгоритм пытается найти на изображении или видео артефакты сжатия и цифровой шум, которые должны быть идентичны для всех фрагментов изображения, присутствовать на всех кадрах видео. Такие артефакты могут быть невидимы для человеческого глаза, но оставлять цифровые подсказки, которые будут считаны при анализе. Затем рассматриваются форматы освещенности: освещение на лице должно быть таким же, как и на других объектах, все предметы должны иметь тени. И на последнем, семантическом уровне, для определения поддельных фото или видео используются данные, которые могут быть подтверждены или опровергнуты данными из реального мира: "Если, допустим, утверждается, что видео, на котором запечатлели игру в футбол, было снято в Центральном парке в 14 часов во вторник, 9 октября 2018 года, совпадает ли состояние неба с погодным архивом?" Эти новые уловки пока ещё способны перехитрить видеоролики от Deepfake // Хабр URL: https://habr.com/ru/post/429192/ (дата обращения: 12.04.2020).. К семантической целостности относится также наличие других копий изображения или видео, которые можно найти в архивах или интернете. Считывая историю манипуляций над цифровым объектом, можно понять, отличается ли он от первоисточника и какие манипуляции были произведены.

Для обнаружения дипфейков исследователи сосредоточились на нескольких главных деталях, по которым можно отличить дипфейк от реального видео. Первое - это движение губ, которое может быть не синхронизовано с речью, второе - общее несоответствие "сцены и говорящего" DARPA is funding new tech that can identify manipulated videos and `deepfakes' // techcrunch URL: https://techcrunch.com/2018/04/30/deepfakes-fake-videos-darpa-sri-international-media-forensics/ (дата обращения: 12.04.2020)., третье - идентификация склеек и видеомонтажа. В ходе работы исследователи дорабатывали алгоритм, находя и другие интересные детали. Например, Сывей Люй рассказывает, что одна из вещей, которые смущали его в сгенерированных видео - это то, что люди на них практически не моргают. В статье Люя "In Ictu Oculi: Exposing AI Generated Fake Face Videos by Detecting Eye Blinking" Эти новые уловки пока ещё способны перехитрить видеоролики от Deepfake // Хабр URL: https://habr.com/ru/post/429192/ (дата обращения: 12.04.2020). написано, что интервал между морганием для здорового человека в среднем составляет 210 секунд, но может варьироваться в ту или иную сторону. Это знание помогло определить множество дипфейков, но вскоре после этого на почту Люя пришло письмо, в котором содержались ссылки на фейковые видео, где люди моргали с нормальной частотой. Люй не видит в этом проблемы: его команда пытается усложнить жизнь создателям дипфейков, а не распознавать все видео - это было бы невозможно. "Мы пытаемся поднять планку, - говорит он. - Мы хотим усложнить этот процесс, сделать его более затратным по времени" Там же.

В статье Люя описаны и другие сигналы, которые помогают отличить сгенерированные видео от реальных. Например, это дыхание и пульс. Считается, что пока дипфейки не способны достоверно воспроизвести такие нюансы, особенно если они были обучены на изображениях, а не на видео.

Однако качество дипфейков - это вопрос времени. Мэт Турек, один из сотрудников DARPA считает, что вскоре мы столкнемся с фабрикацией не только видео, но целых событий: "Не просто одно изображение или отредактированное видео, но несколько изображений или роликов, пытающихся передать убедительное сообщение" Там же. Особенно это опасно для СМИ, которые могут, сами не зная об этом, транслировать целиком фейковый контент, убежденные в его правдивости и неспособные распознать подделку.

Проблемой распознавания дипфейков интересуются, в том числе, большие корпорации. Facebook совместно с Microsoft провели конкурс по распознаванию дипфейков. Основная проблема, связанная с такими соревнованиями - отсутствие датасетов, на которых могли бы обучаться участники конкурса. Те дипфейки, которые есть в интернете, созданы без согласия их главных героев, а значит, не подходят для серьезной исследовательской работы. Две корпорации при поддержке ученых из ведущих университетов (Оксфордского университета, Массачусетского технологического института и других) создали собственный датасет видео, из которых больше половины - дипфейки, а остальное - реальные видео. В создании видео и дипфейков принимали участие актеры, которые дали свое согласие на использование их лиц. Чтобы стимулировать участников конкурса, организаторы решили выделить лучшим из них денежные призы: занявшему первое место заплатят 500 тысяч долларов. Всего на призовой фонд, подготовку и исследование данных было потрачено более 10 миллионов долларов, что говорит о важности конкурса и тех результатов, которые он принесет. Важность конкурса подчеркивают и внешние эксперты. Профессор Оксфордского университета Филип Х.С. Торр считает, что проблема обнаружения дипфейков особенно важна: "Манипулирование СМИ и гражданами, распространение в интернете фиктивных теорий заговора ради политической выгоды - проблемы глобального масштаба, поскольку это фундаментальная угроза демократии, а следовательно, и свободы. Я считаю, что нам срочно нужны новые инструменты для обнаружения недостоверной информации, поэтому я рад быть частью инициативы, которая направлена на мобилизацию исследовательского сообщества вокруг этих целей - как для сохранения истины, так и для расширения границ научной деятельности" Creating a data set and a challenge for deepfakes // Facebook AI URL: https://ai.facebook.com/blog/deepfake-detection-challenge (дата обращения: 10.04.2020)..

Этот конкурс прошел на открытой площадке соревнований по машинному обучению Kaggle Deepfake Detection Challenge // Kaggle URL: https://www.kaggle.com/c/deepfake-detection-challenge (дата обращения: 10.04.2020). и завершился 1 апреля. На странице соревнования написано, что его цель - подтолкнуть исследователей в области Data Science к созданию новых технологий, которые будут обнаруживать дипфейки и препятствовать их распространению в медиа.

Конкурсанты подходили к задаче по-разному, но в целом алгоритм был схожим: раскадровка имеющихся видео, выделение лиц в получившихся кадрах и обучение нейросети на основе последовательности бит. Рассмотрим несколько конкурсных решений.

Участник соревнования с ником Gabriel Preda представил последовательную и очень подробную схему предобработки данных DeepFake Starter Kit // Kaggle URL: https://www.kaggle.com/gpreda/deepfake-starter-kit (дата обращения: 10.04.2020). соревнования. Для начала он предлагает исследовать данные, которые составляют обучающую и тестовую выборку. Формат представленных данных - mp4, также есть json файл, в котором хранятся размеченные данные для обучения (указание на то, какие видео являются дипфейками, а какие - нет, а также указание на первоисточник для дипфейков). Первые несколько строк выглядят так:

В датасете нет пропущенных данных, все они уже размечены и готовы к работе. На этом же шаге мы выяснили, что на обучающей выборке более 80% дипфейк-видео.

Перед тем, как приступить непосредственно к написанию кода, Gabriel Preda исследует видеофайлы. Этот шаг необходим для того, чтобы выявить закономерности, присущие дипфейкам. Изучение исходных данных может помочь определиться с дальнейшими действиями, например, какой алгоритм применять для обнаружения дипфейков. Gabriel Preda исследует одни и те же кадры поддельных и реальных видео, что позволяет лучше понять, как именно производилась замена лиц.

Следующий шаг - это обнаружение лица на каждом кадре видео. Для этого участник конкурса использует открытый код участника другого соревнования Face Detection with OpenCV // Kaggle URL: https://www.kaggle.com/serkanpeldek/face-detection-with-opencv (дата обращения: 10.04.2020).. Этот код использует каскадный классификатор, который позволяет обнаружить лицо в анфас, профиль, отдельно выделять глаза и губы. Теперь функции по обнаружению лица необходимо передавать кадры видео, на которых должно быть распознано лицо.

Для обнаружения лиц существует множество алгоритмов. Интересно решение Энрике Мендоса, который использовал сеть FaceNet. Это сиамская сеть, которая применяется для поиска похожих лиц, преобразуя изображения в евклидово пространство, где дистанция соответствует мере схожести. Чем меньше дистанция, тем более похожи два лица. Энрике запустил предобученную FaceNet на всех кадрах реальных видео. Он получил 8 кластеров - ровно столько, сколько реальных видео было взято, то есть нейросеть выделила и распознала все лица верно.

Участник конкурса с ником Navi для распознавания лица использовал сеть на базе CNN - MTCNN, которая обладает хорошей точностью. С помощью этой сети также можно выделять характерные точки лица (глаза, уголки рта, нос). Решение Navi - одно из лучших публичных решений участников конкурса (на момент до окончания конкурса, когда победители соревнования не выложили свои решения), поэтому было бы интересно рассмотреть его целиком. Первые шаги стандартны: импорт необходимых библиотек, прописывание путей для открытия видеозаписей. Затем Navi разбивает видео на кадры, включает распознавание лиц и инициализирует модель. Для обучения автор решения использует предобученную сеть EfficientNet, которая оптимизирует сверточные сети, при этом дает хороший прирост в качестве. Обучая EfficientNet, автор добавил важный шаг - аугментацию данных. Аугментация - это модификация существующих данных (отражение изображения, поворот изображения, операции с цветом) для расширения обучающей выборки. В задаче с обнаружением дипфейков при маленькой обучающей выборке аугментация выступает как способ регуляризации и позволяет избежать переобучения.

Малое количество участников задумалось о том, что среди дипфейков может попасться не только замена лица, но и замена аудиодорожки. Одно из решений по обнаружению аудио принадлежит пользователю с ником btk1. Он использует пакет ffmpeg, который эффективно работает с аудио. Но, как показал опыт других участников соревнования, фейковые аудиозаписи распознаются гораздо хуже и даже с хорошо обученным алгоритмом не дают прироста качества.

Участники соревнования в целом шли по схожему сценарию, экспериментируя с разными нейросетями при обучении. По-разному решались вопросы дисбаланса классов: одни участники игнорировали этот момент, другие делали количество дипфейков и реальных видео одинаковым. Участники использовали разные сети для обнаружения лиц (а кто-то обошелся и без этого), но на всех представленных примерах точность распознавания была примерно одинаковой. Действительно важным стал выбор модели при обучении: какие-то из них давали хороший прирост качества, другие не подходили для поставленных задач.

2.3 Предпосылки правового регулирования дипфейков и опыт их обнаружения: универсальные рекомендации для сотрудников медиа

О необходимости правового регулирования искусственного интеллекта впервые заговорили в Южной Корее. В 2008 году там вышел "Закон о продвижении разработки и распространения искусственного интеллекта роботов". В законе прописываются его цели - "содействие повышения качества жизни граждан и национальной экономики путем разработки и продвижения политики устойчивого развития индустрии искусственного интеллекта роботов" The National Law Information Center is the Korean representative legal informalion web site URL: http://law.go.kr/LSW/eng/engLsSc.do?menuId=2&section=lawNm&query=robot&x=18&y=29#liBgcolor4 (дата обращения: 07.04.2020).. Разработан план развития искусственного интеллекта, который включает в себя развитие науки, инфраструктуры для нужд разработки роботов, этические аспекты и финансовую составляющую проекта. В США над развитием искусственного интеллекта задумались в 2011 году, выпустив Дорожную карту развития робототехники. В Японии в 2015 году были разработаны принципы, контролирующие безопасность использования роботов "Новая стратегия роботов. Японская стратегия роботов: обзор, стратегия, план действий", в этом же году в Китае выпускают программу по развитию робототехники на ближайшее десятилетие "Сделано в Китае - 2025". Новая цифровая реальность повлияла на степень абстракции законодательных актов: теперь это не планы по техническому развитию, а законы, регулирующие существующие технологии. Например, развитие беспилотного транспорта регулируется законодательными актами Германии, а цифровизация и повышение доступности госуслуг отражены в программе цифровой экономики РФ.

В законодательной базе ряда стран существуют законы, которые вводят уголовное или административное наказание за распространение фейковой информации, при этом наказанию могут подвергаться не только СМИ, но и блогеры, а также обычные граждане, распространяющие неправду. В Китае, Италии и Казахстане за распространение фейковых новостей предусмотрено тюремное заключение. В других странах, например, Германии или Индонезии, законы гораздо мягче: власти могут попросить удалить фейковую информацию, а в случае отказа наложить штраф. Во Франции власти во время избирательных кампаний наделяются правом самостоятельно удалять недостоверную информацию. В России за распространение фейков накладываются штрафы, сумма которых различается в зависимости от категории граждан, а в случае повторных нарушений сумма штрафа становится больше. Примечательно, что распространение фейковых новостей о коронавирусе в России влечет за собой не только административное, но и уголовное наказание.

В контексте этого интересно проанализировать попытки регулирования дипфейков в разных странах. Правовые меры по отношению к ним уже применяются как на уровне некоторых государств, так и в интернете. Например, Facebook на основе конкурсных решений участников соревнования на Kaggle будет разрабатывать свой алгоритм по обнаружению дипфейков, чтобы блокировать сгенерированный контент, а Google обновил правила использования своих сервисов, добавив пункты про блокировку дипфейков.

С 1 января 2020 года в Китае вступил в силу закон, согласно которому публикация любой недостоверной информации, включая дипфейки, становится уголовно наказуемым преступлением. Кроме того, любые элементы контента с использованием виртуальной реальности или созданные при помощи искусственного интеллекта должны быть специально промаркированы. Власти Китая особенно серьезно отнеслись к угрозам, которые несет собой развитие дипфейков. На сайте Управления киберпространством Китая опубликована стенограмма пресс-брифинга, где говорилось о важности противодействия новой технологии: "Технология дипфейк может поставить под угрозу национальную безопасность, нарушить социальную стабильность, социальный порядок и законные права и интересы других лиц" China seeks to root out fake news and deepfakes with new online content rules // Reuters URL: https://www.reuters.com/article/us-china-technology/china-seeks-to-root-out-fake-news-and-deepfakes-with-new-online-content-rules-idUSKBN1Y30VU (дата обращения: 07.04.2020)..

В США разрабатываются четыре законопроекта, касающихся дипфейков. В законопроектах говорится об обязательной пометке, что данный контент был сгенерирован, а также о необходимости указывать его создателей. Такие меры помогут накладывать штрафы на распространителей дипфейков, чьи видео несут потенциальную угрозу. В Калифорнии подобные законопроекты уже подписаны губернатором: они касаются тех дипфейков, которые используются в политических целях в качестве манипуляции и дискредитации, а также любых дипфейков, относящихся к порнографическим. Автор этих законопроектов Марк Берман считает, что особенно важно регулировать политические дипфейки: "Избиратели имеют право знать, когда видео, аудио и изображения, которые им показывают, искусственно созданы для того, чтобы повлиять на то, кому они отдадут свой голос на предстоящих выборах. Они имеют право знать, что такие видео манипулируют ими и не имеют ничего общего с реальностью. В контексте выборов способность приписывать кандидату лживые речи или поступки, которых никогда не было, превращают дипфейки в мощный и опасный инструмент в арсенале тех, кто хочет вести дезинформационные кампании, чтобы сбить с толку избирателей" Губернатор Калифорнии подписал законы о борьбе с видео-фейками // URL: https://yandex.ru/turbo?text=https%3A%2F%2Fvz.ru%2Fnews%2F2019%2F10%2F15%2F1003069.html (дата обращения: 01.04.2020).. Однако Американский союз гражданских свобод выступает против законопроекта, видя в нем в первую очередь угрозу свободе слова, когда любые компрометирующие ролики будут восприняты избираемыми как дипфейки: "Это приведет только к замешательству избирателей, затяжным судебным процессам и подавлению свободы слова" Там же.

Такие меры - ответ на те вызовы, которые ставит перед нами развитие искусственного интеллекта. Отсутствие правового регулирования стимулирует рост киберпреступности, а жертвы таких преступлений рискуют не только своей репутацией, но и финансовыми потерями. Одно из первых преступлений, связанных с дипфейками, произошло в марте 2019 года. По данным Wall Street Journal Fraudsters Used AI to Mimic CEO's Voice in Unusual Cybercrime Case // The Wall Street Journal URL: https://www.wsj.com/articles/fraudsters-use-ai-to-mimic-ceos-voice-in-unusual-cybercrime-case-11567157402 (дата обращения: 02.04.2020)., директор британской энергетической компании был ограблен более чем на 200 тысяч долларов. Он думал, что разговаривает по телефону со своим начальником, который попросил его отправить средства венгерскому поставщику. Звонивший сказал, что запрос был срочным, и приказал исполнительному директору заплатить в течение часа. Это не насторожило пострадавшего: такие срочные операции приходилось проводить и раньше, а голос, интонация, манера разговора мошенника и даже немецкий акцент были абсолютно идентичны голосу его начальника. Филипп Аманн, руководитель отдела стратегии Европейского центра киберпреступности, прогнозирует увеличение числа подобных преступлений, если они будут приносить мошенникам прибыль и дальше. Компания Symantec сообщает, что они смогли выявить еще как минимум три случая, в которых мошенники создавали дипфейки на основе аудиозаписей голоса. В одном из таких случаев сумма ущерба превышала миллион долларов. Все четыре преступления предположительно совершены разными людьми, что позволяет говорить о зарождении нового вида преступлений с использованием дипфейк-технологий.

Инструментов борьбы с такими преступлениями пока нет. Единственная универсальная рекомендация - всегда стараться подтверждать важные финансовые операции лично, или же использовать для этого несколько каналов связи одновременно.

В контексте этого как для крупных компаний, так и для правовых структур и СМИ становится важным критически относится к доказательствам, которые строятся на основании фотографий, видеозаписей или аудиофайлов. Но принятие таких строгих мер сделают судебную систему беззащитной перед потоком исков, которые последуют, как только новые нормы проверки на подлинность распространятся более широко. Джастин Мур, специалист по информатике в Лос-Аламосской национальной лаборатории, смоделировал ситуацию с ограблением, чтобы показать уязвимость судебной системы перед дипфейками. Для того, чтобы осудить невиновного человека, достаточно создать алгоритм, который примет на вход лицо жертвы, а на выход даст видео, где тот занимается ограблением. После этого достаточно передать видео в систему безопасности ограбленного заведения. Мур считает, что если суды для вынесения приговора будут по-прежнему основываться на том, что можно легко подделать - видео или фото - подставить любого человека будет очень просто. Но если суды будут игнорировать любую визуальную информацию, они не смогут доказать виновность действительно опасных преступников. "Может так получиться, что мы не будем доверять никаким фотографическим свидетельствам, - говорит он, - а мне в таком мире жить не хочется" Эти новые уловки пока ещё способны перехитрить видеоролики от Deepfake // Хабр URL: https://habr.com/ru/post/429192/ (дата обращения: 12.04.2020)..

Особенно тяжело придется журналистам-расследователям, которые публикуют материалы о личностях, замеченных в каких-либо злоупотреблениях. Журналисты RT первыми задумались об этой проблеме: "Люди, которые обвиняются в чем-то на основе видео, смогут прибегнуть к "правдоподобному отрицанию", заявив, что кадры были подделаны. Это сделает присутствие надежных свидетелей любого преступления еще более важным" Deepfake technology shows the emperor (or the girl of your dreams) has no clothes // RT URL: https://www.rt.com/op-ed/463137-deep-fake-technology-nude/ (дата обращения: 07.03.2020).. В статье "Six lessons from my deepfakes research at Stanford" также поднимается вопрос о правовом регулировании дипфейков. Автор считает, что подобные инициативы следует принимать с осторожностью, так как такие законы могут быть "направлены против журналистов, оппозиции или правозащитников" Six lessons from my deepfakes research at Stanford // Medium URL: https://medium.com/jsk-class-of-2019/six-lessons-from-my-deepfake-research-at-stanford-1666594a8e50 (дата обращения: 02.02.2020)..

Законы должны подстраиваться под меняющиеся технологии, а суды при вынесении приговора обязаны опираться не только на видео или фото, но и на другие материалы. Журналисты, чтобы сохранить доверие своей аудитории, обязаны проверять информацию не только на фейк, но и на дипфейк, руководствуясь логикой и используя современные технологии. Разработка автоматизированных инструментов для обнаружения дипфейков пока находится в самой начальной стадии. Пройдет не один год, пока первые наработки будут выглядеть как полноценные программы, удобные для работы СМИ. Но уже сейчас сотрудники редакций могут обезопасить себя, просто внимательно просмотрев присланный материал.

Мы поговорили с участниками соревнования на Kaggle, чтобы выяснить, какими способами можно убедиться в подлинности изображения или видеозаписи, если нет возможности использовать специализированные программы, а также о том, может ли распространение дипфейков нанести вред репутации СМИ.

Андрей Кирьясов, смотря на дипфейки, замечал изменение пропорций в лицах по сравнению с оригиналом, изменение яркости, тональности. Он советует также внимательнее рассматривать видео и изображение на предмет различных артефактов, изменения резкости, когда она не должна меняться. Например, если лицо человека находится в фокусе, но на границах лица (в области щек, лба и в особенности - шеи) мы видим явное замыливание, то, скорее всего, видео не является достоверным. Работает это и в обратную сторону: если какие-то части изображения намного резче, чем остальные, при этом мы видим разные по размеру текстуры - скорее всего, мы имеем дело с дипфейком. Наглядный пример в Приложении 2.

Никита Однобоков также отмечает искажения в области лица для дипфейков. При этом он акцентирует внимание на том, что лучше всего такие искажения видны при движении человека, либо же при движении головой и активной мимике. Пример искажения мы можем увидеть в Приложении 3, где на границе лица и шеи девушки появилось размытое пятно, которое является свидетельством того, что изображение является сгенерированным. На этом же примере мы видим, как нейросеть пыталась воссоздать сережку, которая при детальном рассмотрении выглядит совсем ненатурально.

Другой участник соревнования, пожелавший остаться анонимным, обращает внимание на то, что на дипфейк-видео люди моргают реже, чем в реальности, ссылаясь на статью Сывей Люя, которая была проиллюстрирована в параграфе 2.2. Также участник соревнования обращает внимание на разное разрешение сгенерированных частей видео и исходных, разное освещение и цветопередачу частей видео. Несмотря на то, что эти подсказки помогают распознать многие дипфейки, участник соревнования считает, что в ближайшее время качество сгенерированного контента заметно повысится, и человеческий глаз не сможет распознать его.

Влад Артемьев считает, что худшие дипфейки отличить от реальных очень просто, однако существуют и такие, которые созданы настоящими профессионалами, и идентифицировать их, просматривая видео с обычной скоростью, невозможно. Участник соревнования предлагает такой способ: "если вырезать лицо и небольшое пространство вокруг него, наблюдать за этим лицом каждый кадр, то на каком-то из кадров возможно найти дефект, особенно на границах лица". Такой способ имеет ряд очевидных недостатков: сотрудники крупных редакций просто не смогут просматривать каждое видео настолько детально. Но для случаев, когда СМИ не уверены в правдивости какой-либо видеозаписи, которая выглядит очень реально, такой способ может быть очень полезен.

Участники соревнования по-разному относятся к потенциальным угрозам, которые таит в себе дипфейк-контент. Андрей Кирьясов считает, что распространение дипфейков - это еще одна проблема для СМИ, и все материалы, полученные из недостоверных источников, необходимо подвергать сомнению. Потребители контента СМИ "живут в мире недостоверности", в ситуации, когда нужно быть особенно внимательными к тому, что мы принимаем на веру. Из-за этого возникает дефицит доверия к СМИ, как к "сильному инструменту влияния, которым многие захотят воспользоваться". Никита Однобоков, напротив, не видит в появлении дипфейков ничего необычного или пугающего. Он считает, что новый инструмент очень похож на Photoshop, который кардинально не изменил доверие граждан к средствам массовой информации. "Не то, чтобы перестанут верить в реальность всех видео, но реальность отдельных видео будут чаще ставить под сомнение", - так отвечает он на вопрос об опасностях новой технологии. Влад Артемьев видит угрозу в новой технологии, однако верит, что инструменты распознавания всегда будут на шаг впереди дипфейков, а значит, смогут без труда их выявлять. Единственная проблема - оснащение таким инструментом редакций. Анонимный участник соревнования считает, что дипфейки в ближайшее время будут представлять серьезную угрозу. Сложность создания дипфейков постоянно падает, возникают все новые и новые инструкции, как создать их с нуля. Вполне возможно, что скоро появится приложение, которое будет еще удобнее для простого пользователя: не нужно будет иметь базовые навыки программирования, чтобы запускать код на компьютере. Достаточно будет открыть приложение, загрузить в него исходную видеозапись и несколько видео, которыми нужно заменить фрагменты исходного. Мощная видеокарта, несколько часов времени - и качественный дипфейк будет готов. Цели его создания и уровень ответственности того, кто создал очередной дипфейк, - на эти вопросы мы будем отвечать в будущем.

Опираясь на проведенные экспертные интервью и на исследования, которые были сделаны в ходе работы, можно сформировать рекомендации для сотрудников СМИ, которые помогут отличить подлинное видео от дипфейка.

1. Если журналист сомневается в подлинности изображения, он может загрузить его в поисковую систему для поиска по похожим картинкам. Если в качестве похожих изображений выводятся схожие с нашим изображением, но с какими-то изменениями - перед нами дипфейк.

2. Журналист может рассматривать артефакты на фотографии или видеозаписи. Должны настораживать замыливание или ненатуральная резкость отдельных участков фото или видео, разная цветопередача на разных участках фото или видео. Стоит обращать особое внимание на артефакты на границах лица, а также на то, насколько натурально выглядят волосы на фотографии или видеозаписи, не кажутся ли они "приклеенными" к лицу. В Приложении 4 размещено дипфейк-фото, волосы на котором прорисованы недостаточно детально, а некоторые пряди расположены не на своем месте. На волосы всегда стоит обращать особое внимание: именно на краях прически чаще всего возникают какие-либо артефакты или ощущение того, что прическа была перенесена с другого фото или видео.

3. Если вам кажется, что человек на видео выглядит как-то не так - скорее всего, так и есть. Исследования Сывей Люя доказывают, что на подсознательном уровне наше подсознание реагирует на большинство дипфейков, даже если мы не видим доказательств искусственного происхождения фотографии или видеозаписи. Стоит обратить внимание на то, как человек на видео моргает, как движется его рот во время разговора. Совпадают ли движения рта с теми словами, которые он произносит? Нет ли в движении рта монотонности? Меняется ли мимика человека в течение разговора? Пропорционально ли лицо человека в кадре? Ответы на эти вопросы могут помочь обнаружить дипфейк. Reuters также выделяет такое свойство дипфейков, как отсутствие "живости" глаз. Мимика человека - это не только движение губ, но еще движение глаз: недоверие, удивление, ужас, восторг - все эти эмоции мы проявляем в том числе с помощью глаз.

4. Не стоит забывать, что дипфейки - это не только подделка видеоряда, но еще и подделка аудиодорожки. Сама видеозапись может выглядеть абсолютно натурально и не являться дипфейком, но те слова, которые говорит человек, могут быть изменены. Здесь важно отследить, насколько движение губ совпадает с произносимыми словами. Нет ли моментов, когда губы все еще шевелятся, но человек ничего не произносит? Также может помочь поиск исходной видеозаписи, ведь обычно дипфейки делают уже на основе существующих фрагментов, и остается их только найти.

5. Тяжелее всего обнаружить дипфейк-аудиозапись, которая может быть представлена, как запись разговора. Все неестественные моменты речи могут быть замаскированы шумом, который является вполне естественным для диктофонной записи. Всегда обращайте внимание на интонацию, с которой говорит человек. Если речь безэмоциональна и монотонна, а между всеми словами и предложениями расставлены примерно одинаковые по длительности паузы - скорее всего, аудиозапись поддельная. В речи любого человека будут присутствовать паузы разной длительности, во время которых он подбирает слова или переводит дыхание. Даже если голос человека на записи кажется вам близким и знакомым, всегда считывайте такие сигналы, которые свидетельствовали бы о подделке.

6. Если результатом возможного дипфейка становится какое-то известное/должностное лицо, можно попросить комментарии у его пресс-службы. Конечно, если речь идет о журналистском расследовании, такие меры применить не получится.

7. Всегда стоит анализировать источник информации, который предоставил материал. Если он анонимный - стоит проводить проверку намного более качественно и постараться выйти с источником на связь. В случае, если материал уже опубликован в нескольких СМИ, стоит предупредить о своих опасениях по поводу реальности контента и спросить, какие меры были предприняты для обнаружения дипфейка, а также поинтересоваться, откуда появился материал.

8. При получении любых материалов от анонимных источников стоит искать других свидетелей события и, если это возможно, просить у них подтверждение в виде фотографий или видеозаписи с места происшествия. Эти меры помогут удостовериться в подлинности публикуемого материала.

9. Если самостоятельно доказать недостоверность материала не получается, можно показать его экспертам по машинному обучению и работе с нейросетями. Как правило, таким людям бывает проще определить, является ли материал дипфейком.

10. Старайтесь быть в курсе всех тенденций в сфере дипфейков и смотреть все новости, которые связаны с этой технологией. По данным Reuters, журналисты, которые знают, какими особенностями обладают дипфейки, с гораздо большей вероятностью смогут отличить их от реальных материалов.

11. Если подозрения в подлинности контента не исчезают, но информация должна быть опубликована, стоит отразить свои опасения в начале материала. В случае, если опасения подтверждаются, всегда нужно предоставлять опровержение.

Заключение

Цель данного исследования заключалась в изучении влияния технологии дипфейк на индустрию производства новостей. В первой главе рассматривается теоретическая база исследования: дается определение терминам "фейк", "дипфейк", объясняются причины снижения доверия к журналистскому контенту, а также анализируются изменения, происходящие в медиа.

Во второй главе была рассмотрена технология дипфейк и изучен объем технических знаний, требующихся для его написания. Мы изучили библиотеку Keras для глубокого обучения, рассмотрели принцип работы генеративно-состязательных алгоритмов (GAN), с помощью которых пишутся современные дипфейки. Был проведен эксперимент, в ходе которого удалось написать дипфейк при помощи открытой библиотеки DeepFaceLab, не обладая специальными навыками. Этот эксперимент позволил сделать вывод о том, что создавать дипфейки может практически любой человек, потративший несколько часов на овладевание новой технологией. Это значит, что в будущем будет создаваться еще больше недостоверного контента, поэтому журналистам необходим свод рекомендаций, которые позволили бы обнаруживать дипфейки. Создание таких рекомендаций стало итогом нашей работы.

Для того, чтобы создать рекомендации по обнаружению дипфейков, была рассмотрена общемировая практика по их распознаванию, в частности, деятельность агентства MediFor и курс от новостного агентства Reuters. Затем мы рассмотрели решения соревнования по обнаружению дипфейков, которое проходило на платформе Kaggle, и поговорили с участниками данного соревнования. В ходе интервью и анализа решений мы собрали универсальные рекомендации по обнаружению дипфейков для сотрудников СМИ.

Полученные рекомендации применимы для выявления аудио, видео и фотоматериалов, которые являются дипфейками. Выпускная работа снабжена приложением, где размещены дипфейк-кадры, на примере которых объясняется, по каким признакам можно выявлять дипфейк.

В работе мы ответили на поставленные исследовательские вопросы. В рамках ответа на вопрос о влиянии технологии дипфейк на журналистику было выявлено, что технология дипфейк может негативно влиять на медиаиндустрию: представлены примеры, в которых дипфейки способны разрушить карьеру политиков или журналистов. Так произошло с журналистом-расследователем Раной Айюб, дипфейк на которую негативно сказался на ее профессиональной деятельности. В рамках ответа на вопрос, как технология дипфейк влияет на доверие к журналистскому контенту, было выявлено, что потенциальное снижение доверия отмечают сами сотрудники СМИ, связывая его с распространением дипфейков и отсутствием технических средств в редакциях для их регулирования. Возможное снижение доверия к журналистскому контенту отмечают и представители data science индустрии, которые понимают механизм создания и распространения дипфейков. Они выражают опасение, что создатели дипфейков рано или поздно захотят воспользоваться индустрией производства новостей как сильным инструментом влияния на общественность. Для того, чтобы этого избежать, журналистам важно относиться ко всему поступающему контенту как к потенциальному дипфейку. В качестве ответа на последний исследовательский вопрос, как журналист может отличать дипфейк-контент от реального, были сформированы рекомендации по обнаружению дипфейков для сотрудников СМИ.

Список использованной литературы и источников

1. Adolf Hitler "Downfall Movie" to Mauricio Macri. (Faceswap Deeplearning) // YouTube URL: https://www.youtube.com/watch?v=M8t6hGRtDac (дата обращения: 05.03.2020).

2. China seeks to root out fake news and deepfakes with new online content rules // Reuters URL: https://www.reuters.com/article/us-china-technology/china-seeks-to-root-out-fake-news-and-deepfakes-with-new-online-content-rules-idUSKBN1Y30VU (дата обращения: 07.04.2020).