Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Учёт проблем использования и перспектив развития результатов нейросетевой революции в машинном обучении при определении приоритетов технического развития России

Основным прорывом последних лет в области МО стала нейросетевая революция, которая началась с прогресса в обработке изображений, а потом распространилась на очень широкие области обработки данных. Смена парадигмы в применении нейросетей состоит в использовании нейровычислений, способных самостоятельно сформировать правила выделения признаков на основе обработки огромного числа примеров. Основные идеи современных нейровычислений были выдвинуты в 80-90 годы прошлого века, но тогда их не удалось реализовать в коммерческих продуктах - компьютеры не позволяли работать с большими структурами данных, а на небольших объёмах данных нейровычисления проигрывали эвристическим алгоритмам МО.

С началом нового тысячелетия ситуация стала меняться. В 2005-2007 годах начали появляться первые работы, в которых описывались широко используемые в настоящее время методы преднастройки, обучения и структурной организации нейросетей. В 2012 году в рамках конференции NIPS-2012 уже проводился конкурс ImageNet Classification with Deep Convolutional Neural Networks. Сеть AlexNet [1] не просто выиграла этот конкурс с выдающимся по тем временам результатом в 85% правильного распознавания, но и обогнала по этому показателю все известные на тот момент распознаватели изображений более, чем на 10%.

Использовавшиеся в AlexNet идеи обработки информации получили широкое распространение. В целом успех современной волны нейросетевых вычислений принято объяснять синергией следующих факторов, которые ставят в аналогию с необходимыми компонентами для запуска ракеты (таблица 1). Вклад в успех нейровычислений дали не только прогресс в технологии производства компьютеров, графических ускорителей и сетевых компонент, но и успехи программирования. Развитие сети Интернет способствовало сбору, передаче и коллективной обработке больших объёмов данных. Возможность проводить вычислительные эксперименты со сложными моделями нейросетей на больших данных способствовала появлению новых усовершенствований в структуре нейровычислений.

Таблица 1

Успешное коммерческое применение нейросетевых подходов обеспечило устойчивое финансирование новых разработок в области нейровычислений. Одной из первых крупных компаний, включивших нейросетевые технологии в свои планы стала в 2012-2013 гг. NVIDIA, за ней стали подключаться ещё более крупные, такие, как Intel, IBM, Google, Baidu, Samsung, Яndex и другие.

К настоящему времени всерьёз нейросетевой тематикой занимаются почти все компании, причастные к обработке информации и все страны, претендующие на участие в технологическом прогрессе. И Россия не является исключением.

Широким фронтом выполняются исследования в области нейровычислений, ведётся массовая подготовка специалистов по МО, открываются новые центры исследования и разработки средств для нейровычислений. С учётом всё возрастающего уровня финансирования каждый месяц становится задач, которые успешно решаются на основе нейровычислений.

Задачи и проблемы нейросетей в обработке данных

Этапной задачей в прогрессе теории и практики нейровычислений является создание сильного искусственного интеллекта - AGI (artificial general intellegence) - технических средств со сверхчеловеческими возможностями по структурированию и обработке данных.

Главной проблемой AGI является формирование описания сложного реального мира, его разнообразных свойств и всевозможных способов влияния на процессы развития.

Для решения этой проблемы необходимо иметь:

• Способ универсального описания объектов и явлений;

• Умение выделять отдельных объекты и явления из данных;

• Средства формирования прогноза развития событий

• Способы постановки целей (промежуточных и глобальных) для их достижения;

• Эффективный анализ вариантов действий для достижения поставленных целей.

Среди множества технических аспектов проблемы описания сложного реального мира можно выделить два основных математических ограничения (таблица 2):

Таблица 2

Именно такие подходы используются при выполнении большинства комплексных заданий в условиях ограничений, связанных с экспоненциальным ростом сложности. Но пока эти подходы реализуются, как правило, путём применения естественного интеллекта человека, возможности которого лимитированы физиологией.

Важнейшими задачами создания AGI является разработка средств, позволяющих реализовывать указанные подходы без участия человека. И нейросетевое сообщество уже подошло к практическим аспектам их реализации.

Но кроме решения прикладных математических и инженерных задач, связанных с разработкой и эффективной аппаратной реализацией AGI, существует ещё необходимость преодоления ставших традиционными противоположных взглядов:

1. Создать AGI техническими средствами невозможно;

2. Создать AGI техническими средствами просто.

Первая точка зрения основана на гуманитарных представлениях о целостности сознательного восприятия мира, вторая - на технической эйфории от кажущихся безграничными возможностей вычислительной техники.

Целостное восприятие мира предполагает возможность создания очень высокоразмерных описаний сложного мира, что действительно невозможно выполнить техническими средствами. Но и другими материальными средствами тоже невозможно, в том числе биологическими. Либо надо признать, что высокоразмерные описания нереализуемы в материальном мире, либо надо верить в нематериальную душу.

Представления о кажущихся безграничными возможностях вычислительной техники технике основаны не только на её современных успехах, но и на законе Мура [2].

нейросетевой бесконечный число игра

Практически бесконечные числа

По сути, оба крайних взгляда основаны на непонимании факта, что существуют числа, значения которых можно выразить математически, но реализовать количество физических элементов, выраженное таким числом невозможно. Со стороны гуманитариев это приводит к представлению о том, что как-то в мозгах всё-таки можно создать целостную модель мира без её декомпозиции. А со стороны технических энтузиастов - к представлению, что если сегодня памяти или вычислительных мощностей не хватает, то через пару лет, в крайнем случае через десятилетие, их будет так много, что все задачи будет не проблема посчитать.

Приведём пару примеров таких, теоретически конечных чисел, которые в реальности являются бесконечно большими (в смысле возможности создания такого количества физических объектов).

Классическим является пример с легендой про создание шахмат, когда изобретатель попросил у шаха в награду несколько рисовых зёрнышек: на первую клетку шахматной доски одно, на вторую - два, на третью - 4 и так до последней, 64-й клетки. Удивлённый скромностью изобретателя шах попросил отвесить ему необходимое количество, но подсчёты затянулись. Зёрен получается довольно много

что составляет 18 446 744 073 709 551 615?2*1019. Это примерно в 2000 раз больше урожая 2017 г. За всю историю человечества было собрано только 30-50% от указанного количества зёрен. И ещё около 1000 лет потребуется, чтобы суммарное количество собранного человечеством за всю историю достигло этой цифры (если урожаи риса не будут снижаться…).

Представить такое количество зёрен риса невозможно, попробуем создать зрительную аналогию.…

В одном килограмме риса приблизительно 20 тысяч (=2*104) зёрен, которые тяжелее воды, но вместе с просветами между зёрнами занимают объём около 1 литра. В одном кубическом метре 1000 (=103) литров. В кубическом километре - 1000000000 (=109) м3, или 2*104*103*109=2*1016 зёрен риса. Если зёрен 2*1019, то ими можно заполнить 1000 км3. Таким количеством риса можно засыпать территорию Москвы в пределах МКАД (900 км2) слоем с толщиной больше 1 км. Или, если насыпать дорожку вдоль экватора (40000 км) толщиной в метр, то дорожка будет шириной в 25 км.

Но это рис - пищевой продукт, дорогой и сложный в производстве. А магнитных доменов на жёстком диске - действительно много, они меньше размерами и заметно дешевле. Сейчас 1 бит памяти заметно дешевле 1-го зерна риса: 1 Тбайт ( бит) в розницу стоит порядка 50$, оптом - дешевле, вплоть до 10$. Стоимость бит памяти при оптовых ценах составит всего около $25 млн.

Если памяти нужно в 1000 раз побольше, то это бит памяти и стоят около $25 млрд., если ещё в тысячу раз больше, то бит памяти, которые стоят около $25 трлн. Военный бюджет США в 2019 году составит $716 млрд.

А дальше - всё, дальнейшее увеличение объёма памяти крайне ограничено. Возможно за 10 лет человечеству удастся произвести памяти объёмом в бит, то есть в 10 раз больше , но ни о каком увеличении в 1000 раз речи быть уже не может.

1. Успехи в области формально-логических игр

Понимание наличия граничных значений величин, дальнейшее увеличение которых возможно только в теории, но не на практике, не должно приводить к заключению о невозможности построения AGI или, тем более, как доказательство существования души. Повод для такого вывода дают успехи в развитии компьютерных программ для формально-логических игр.

Может быть сыграно различных партий в шахматы. Число теоретически конечное, но объём необходимой памяти для их запоминания является с практической точки зрения бесконечным - такую память невозможно создать. Но её и не обязательно создавать - можно находить более эффективные способы решения шахматных задач.

Когда 20 лет назад программа Deep Blue обыграла Каспарова, считалось, что в Го компьютер никогда не обыграет человека, поскольку количество вариантов различных партий у данных игр несопоставимо (у Го больше на 124 десятичных порядка, 47+124=171). Это очень большое число, для сравнения, число элементарных частиц во вселенной.

Тем не менее, в 2016 году программа AlphaGo выиграла у одного из ведущих мировых игроков (Lee Sedol) в Го со счётом 4:1, весной 2017 г. программа AlphaGo Zero выиграла у 10 лучших мировых игроков в Го со счётом 100:0, а в декабре 2017 г. программа AlphaZero выиграла у лучших программ, существовавших до этого момента в шахматы, сёгу (японские шахматы) и Го, причём на обучение мастерству выигрыша в эти игры ей понадобилось всего несколько часов [3].

Если AlphaGo строила свою тактику на основе обобщения многовекового человеческого опыта игры в Го, то AlphaZero формировала свою тактику с нуля и училась выигрывать в любую игру у лучших компьютерных программ (которые к этому времени могли всегда выиграть у любого живого человека, включая чемпиона мира).

Рисунок 1. Графики времени обучения с нуля, на основе своего собственного опыта игр программы AlphaZero для наиболее популярных в мире формально-логических игр

Успех AlphaZero показал широту применений использованного подхода:

· алгоритм подходит не только для игры в Го;

· действия алгоритма основаны на собственном опыте (а не на систематизации знаний, ранее полученных человеком).

Бесполезно даже пытаться запомнить все возможные позиции на доске Го, их так много, что даже на практике почти в каждой игре встречаются никогда ранее не назализировавшиеся. И это длительное время было серьёзным препятствием для создания компьютерных программ для игры в Го.

Причины успеха AlphaGo и AlphaZero

Что было предложено нового в AlphaGo, а затем в AlphaZero? Если раньше в компьютерные программы закладывались продуктивные идеи развития игры, выделенные человеком, создающим программу, то в AlphaGo программа сама, с использованием нейровычислений выделяла такие продуктивные идеи. Первоначально авторы программы давали для обучения записи партий в Го, ранее сыгранных людьми. Но этого оказалось недостаточно, и новые данные генерировались в процессе собственных игр в Го, проведённых программой. Этот компонент оказался очень успешным и следующий вариант программы AlphaGo Zero учился с нуля, просто на основе собственных игр с соблюдением правил Го, без использования наработанных за многовековую историю игры человеческих представлений. Что интересно, уровень игры за счёт отказа от традиционных рекомендаций только возрос.

Нейровычисления в AlphaGo и AlphaGo Zero используются для выбора ходов (policy network) и для оценки возникающих позиций (value network). Но, поскольку все возникающие позиции запомнить невозможно, сгенерированный на основе ассоциации с похожими позициями набор рациональных ходов подвергается анализу, к чему может привести использование предложенных ходов. Получаемая после выполнения каждого из предложенных ходов позиция (тоже по ассоциации с ранее встречавшимися несовпадающими, но похожими позициями) оценивается (рис. 2).

Рисунок 2. Нейровычисления в AlphaGo Zero

Путём сравнения выбирается небольшое число новых позиций с наиболее высокими оценками, для каждой из них генерируются рациональные ходы за противника. Полученные при каждом из ходов позиции снова оцениваются, но здесь, в предположении, что противник постарается сделать ход, ухудшающий нашу позицию, выбираются для продолжения анализа позиции с наиболее низкой оценкой.

Несмотря на сокращение (по сравнению с полным перебором) на каждом ходу числа веток анализа путём:

· Рассмотрения только рациональных ходов, сгенерированных policy network;

· Выбора для продолжения генерации ходов только позиций с лучшими/худшими оценками, полученными от value network; число веток анализа растёт с увеличением глубины анализа партии. Поскольку в партии Го ходов может быть больше 100, производится дополнительная прополка веток анализа:

· Ветки с низкими средними оценками от value network выкидываются как бесперспективные;

· Ветки со слишком высокими средними оценками от value network выкидываются, поскольку их вряд ли выберет противник (а если всё-таки выберет, тогда они и будут проанализированы).

При обучении отобранные для анализа ветки прослеживаются до конца партии и затем, в зависимости от полученного результата, вдоль ветки распространяются поправки оценок как рациональности ходов от policy network, так и качества промежуточных позиций от value network. Идеи, как распределить поправки от конечного результата игры на промежуточные позиции, основаны на механизме обратного распространения ошибки (BPE, back propagation error [4]) Для поиска новых решений в процессе обучения иногда делаются случайные ходы (не сгенерированные policy network) и анализируется их полезность.

В процессе соревновательной игры ветки анализа не всегда необходимо анализировать до окончания партии и надежда на то, что случайно сгенерированный ход поставит ход рассуждений противника в тупик, мала, поэтому обучающий и соревновательный режим отличаются этими и некоторыми другими параметрами. Каждый ход выбирается на основе многообразия генерируемых нейросетевых рекомендаций (от policy network и value network) и анализа, к чему выбор различных ходов может привести.

Рисунок 3. Переход от анализа формально-логических позиций к выбору действий в реальном мире

Важнейшим результатом, полученным на AlphaGo - AlphaZero, является демонстрация возможности за счёт анализа последствий различных рациональных действий осуществлять выбор оптимального варианта для ситуаций, в которых эти действия ранее никогда не применялись. Это является очень упрощённой моделью реального мира, в котором события тоже происходят каждый раз по-разному, но необходимо выбирать оптимальные последовательности действий (рис. 3).

Куда развивать исследования AlphaGo и AlphaZero

Замена доски для Го на реальную ситуацию (в схеме на рис. 3) сложна не только потому, что позиция на доске и правила Го легко описываются в программе эвристическим алгоритмом в полном объёме, а параметры описания реальной ситуации, необходимые для решения поставленной задачи, далеко не так очевидны. Дело ещё и в том, что на ход игры в Го происходящие в мире события никак не влияют, а в реальной ситуации такой независимости нет как в смысле выбора самих действий, так и в смысле возможности изменения их цели.

Последнее практически исключает возможность эвристического описания событий реального мира с целью использования в виде модели для анализа эффективности различных вариантов действий. И, хотя отдельные упрощённые модели реального мира все же создавать вполне возможно, их эффективное применение ограничивается областью задач, в которых влияние внешних, не описанных в моделях факторов минимально.

Другим недостатком использования эвристических моделей для реальных ситуаций является то, что мир постоянно меняется и модели должны отслеживать эти изменения.

Современной альтернативой эвристическим алгоритмам при решении плохо формализуемых задач является использование нейросетевых методов. Это означает, что в структуре для выработки последовательностей действий на основе анализа последствий от выбора разных вариантов, при переходе к работе с реальными ситуациями (рис. 3) нейросетевыми должны стать все три части: и policy network, и value network, и блок self-play position (который в AlphaGo-AlphaZero реализован эвристическим алгоритмом).

Несмотря на все современные успехи нейровычислений, с увеличением сложности задач достижение высокого качества их решения требует экспоненциально возрастающих затрат для формирования эффективных аппроксимаций требуемых преобразований. Как было показано выше, затраты не могут расти бесконечно - достаточно быстро они достигают предельных значений. Тогда дальнейшее повышение сложности решаемых задач возможно только за счёт снижения точности аппроксимации требуемых преобразований.

Получается противоречие: для эффективного решения задач реального мира требуется привлекать по возможности больше анализируемых факторов, что повышает размерность задачи и, как следствие - снижает эффективность её решения. Выход из этого противоречия давно отработан практикой человеческой деятельности: необходимо осуществлять декомпозицию сложных задач на более простые составляющие. И современная задача состоит в автоматизации этого процесса, надо научить нейросети выделять в сложных ситуациях и сценах простые компоненты.

Описание более простых объектов и явлений позволяет разрешить указанное противоречие (при условии, что нейросетевой блок self-play position позволяет моделировать взаимодействие простых моделей): точность таких описаний выше, а сведённые вместе они могут описывать сложные ситуации. Как и в случае с Го, заранее просчитать все мыслимые ситуации будет нельзя, но для реально возникших позиций можно, на основе анализа развития событий, выбрать наилучшее доступное решение.

По сути блок self-play position будет создавать сводную модель возникшей ситуации с использованием имеющихся в его распоряжении «кубиков» простых компонент. Этот же блок может быть использован для выделения новой информации и формирования на её основе новых моделей («кубиков»). Новой является та информация в сложном сигнале, которую не удаётся смоделировать с использованием имеющихся «кубиков»

При всей необозримости возможных позиций в Го, ситуации в реальной жизни отличаются ещё большим разнообразием, которое одноуровневым представлением описать сложно, а в некоторых случаях и невозможно. Наличие взаимосвязи между простыми объектами и явлениями тоже можно выявлять, строить метаописания взаимодействий более высокого уровня - в описаниях простых моделей.

Между метаописаниями тоже можно находить взаимосвязь и формировать следующие метаописания более высокого уровня. Таких уровней не должно быть десятки и сотни, как слои в сетях глубокого обучения (DNN, deep neural network), но 3-5, а для сложных ситуаций и 7 уровней метаописаний вполне возможны. Более подробно вопросы создания структур для иерархического представления информации описаны в [5].

Значение перспектив нейросетевой революции для России

Решение проблемы выработки рекомендаций по сложным, взаимосвязанным задачам всегда было востребованным, подкреплённым платёжеспособным спросом продуктом. Развитие нейросетевых вычислений даёт новую, более мощную автоматическую технологию для формирования таких решений. Многие проблемы на пути конкурентоспособного коммерческого продукта в данной сфере ещё предстоит решить. Но если 10-15 лет назад эти проблемы не представлялись решаемыми, то в последние 5 лет всё больше крепнет уверенность в возможности их решения.

В мире не только велики успехи применения нейросетевых систем AI (artificial intellegence) и устойчиво полученное за счёт этого финансирование в данной сфере деятельности. Сформировалась отрасль промышленности, выпускающая электронные компоненты и устройства для нейросетевых вычислений. Есть кадры по разработке и производству интеллектуальных коммерческих продуктов на основе нейротехнологий. Работают научные центры и промышленные лаборатории, издаются журналы, налажен обмен программным кодом между исследователями и разработчиками AI, ежегодно проводятся десятки съездов и конференций по нейросетевой тематике.

Всё это, конечно, не гарантирует немедленный прорыв в решении задачи создания AI, но создаёт для него благоприятные условия. С каждым годом прогноз даты создания не отодвигается на всё более отдалённую перспективу, а наоборот, приближается.

Если в 2005 году Рэй Курцвел в своей книге «Сингулярность близко» [6] называл дату создания AGI 2045 г. то уже в 2010-2015 гг. эту дату переместили на 2035 г. А уже в последние 2-3 года называется 2025 г. (например, [7]).

Некоторое понимание насущности и важности проблемы стало появляться и в России. 1 сентября, выступая перед школьниками в Ярославле на форуме "Проектория", В.В. Путин сказал [8]: «Лидер по созданию искусственного интеллекта станет властелином мира». В России мало кто воспринял важность данного заявления, но в мире оно широко цитируется.

"Искусственный интеллект - это будущее не только России, это будущее всего человечества. Здесь колоссальные возможности и трудно прогнозируемые сегодня угрозы" - добавил президент России.

Нет сомнения, что в ближайшие годы область применения AI значительно увеличится. AI будет не только помогать в решении сложных задач (таких, как перевод с иностранного языка, заказ столика в ресторане или наведении на цель), а постепенно всё шире непосредственно решать задачи и ставить цели для их дальнейшего выполнения. Момент достижения уровня AGI ещё приблизится.

Но представление о лавинообразном развитии процесса после создания AGI, так называемой точке сингулярности, несколько наивны. Сами по себе связанные с AGI возможности получения более точных прогнозов и оптимальных решений проблем ничего не будут значить без внедрения их в экономическую и политическую жизнь общества.

50 лет назад США имели подавляющее преимущество перед Китаем в области вычислительной техники (и большинстве других областей деятельности). Это не помешало Китаю «догнать и перегнать США» по большинству направлений экономики. А в ближайшие годы Китай выйдет в мировые лидеры и по компьютерам, а с ними - и в области AI, а в дальнейшем и AGI. Но процесс возвращения Китая на достойное место в мировой экономике дался ему очень большим напряжением сил.

Возможно, если бы 50 лет назад США имели не только компьютеры, но и AGI, то выработанные с его помощью экономические и политические решения могли бы позволить США сохранить своё мировое лидерство. Не исключено, что Китай, выходя на 1 место в мире, захватит лидерство и в области AGI, что по Путину будет означать власть над миром. И, если политическим лидерам Китая удастся эффективно взаимодействовать с AGI, то отобрать у них мировое лидерство будет сложно.

Одномоментных событий типа сингулярности, которые сразу определят ход дальнейшей истории, не будет. Ситуация в мире, как и раньше, будет определяться большим числом субъективных факторов.

Но с каждым годом страны, не использующие всю мощь AI, а в дальнейшем и AGI, будут испытывать всё большие сложности в экономическом соревновании с передовыми странами. Так же, как сейчас AlphaZero выигрывает у любого человека (включая чемпионов мира), так и решения, подготовленные (а в дальнейшем и принятые) AGI будут превосходить решения, созданные людьми.

Политика и экономика - это игры без правил, те, кто не будет пользоваться подсказками AGI, будут раз за разом проигрывать.

И это особенно актуально для России, экономика которой не находится в числе лидеров ни по текущему состоянию, ни по темпам развития. Мировая политическая позиция тоже не отличается устойчивостью, что проявляется в раздувании различных, направленных против России скандалов (вроде отстранения российских спортсменов от Олимпийских игр) и в ведении всевозможных санкций.

В России ведётся большая работа по подготовке молодой смены политическим и экономическим кадрам. Но если предыдущее поколение проигрывало живым зарубежным коллегам, то следующему поколению уже придётся соревноваться в политике и экономике с AI или и AGI. И надеяться на выигрыш в этом противостоянии можно только в том случае, если Россия будет хотя бы одним из лидеров в области AI.

Эта проблема не может быть решена быстро, как сказал В.В. Путин [8], «чтобы не стоять в конце очереди, нужно над этим работать уже сегодня». И значимость этой задачи не только для развития экономики России, но и для сохранения ей своего суверенитета, трудно переоценить.

Список литературы

1. Silver D., Schrittwieser J., Hassabis D. Mastering the game of Go without human knowledge // Nature. 2017. - Vol. 550, 19 October. - P. 354-359.

2. LeCun Y.; Bengio Y.; Hinton G. "Deep learning" // Nature. 2015. - Vol. 521. - P. 436-444.

3. Смолин В.С. Проект Манифеста разработчиков AGI. // XX Международная научно-техническая конференция "Нейроинформатика-2018": Сборник научных трудов. В 2-х частях. Ч.1. - М.: НИЯУ МИФИ, 2018. С. 173- 183.

4. Kurzweil R. The Singularity is Near. - New York: Viking Books, 2005.

Размещено на Allbest.ru