Энтропия индуктивного вывода

Размещено на http://www.allbest.ru/

Энтропия индуктивного вивода

Новиков Н.Б.

Аннотация

В 1865 г. немецкий физик Р.Клаузиус ввел в науку понятие энтропии. Под энтропией он понимал необратимый процесс рассеяния свободной энергии, способной совершать работу. Поскольку эта свободная энергия имеет тенденцию к уменьшению, Р.Клаузиус сформулировал принцип о постоянном росте энтропии, получивший название второго начала термодинамики. Австрийский физик Л.Больцман (1871) дал статистическую интерпретацию второго закона термодинамики, показав, что энтропия пропорциональна вероятности (S = lnW). К.Шеннон обнаружил аналогию между теорией информации, которую он разрабатывал в 1940-е гг, и теорией энтропии, предложенной Л.Больцманом. Отчасти основываясь на этой аналогии, мы проводим термодинамический анализ познавательных процессов, реализуемых мозгом. Мы показываем, что энтропия индукции (индуктивного вывода) всегда превосходит энтропию дедукции. Мы также сопоставляем наши результаты с математическими проектами (программами) Г.Лейбница и Д.Гильберта и 18-й проблемой С.Смейла.

Ключевые слова: энтропия индукции, энтропия дедукции, вероятностная природа индуктивного вывода, программа формализации математики Д.Гильберта, 18-й проблема С.Смейла.

Abstract

In 1865, the German physicist R. Clausius introduced the concept of entropy into science. By entropy, he understood the irreversible process of dissipation of free energy capable of doing work. Since this free energy tends to decrease, R. Clausius formulated the principle of a constant increase in entropy, which was called the second law of thermodynamics. The Austrian physicist L. Boltzmann (1871) gave a statistical interpretation of the second law of thermodynamics, showing that entropy is proportional to probability (S = lnW). K. Shannon discovered an analogy between the theory of information, which he developed in the 1940s, and the theory of entropy, proposed by L. Boltzmann. Partly based on this analogy, we conduct a thermodynamic analysis of the cognitive processes realized by the brain. We show that the entropy of induction (inductive inference) always exceeds the entropy of deduction. We also compare our results with the mathematical projects (programs) of G. Leibniz and D. Hilbert and the 18th problem of S. Smale.

Key words: entropy of induction, entropy of deduction, probabilistic nature of inductive inference, Hilbert's program for the formalization of mathematics, 18th problem of S. Smale.

Эволюция понятия энтропии: от термодинамики до теории связи (теории информации)

Понятие энтропии было введено в науку немецким физиком Рудольфом Клаузиусом (1865). Он обобщил идеи С.Карно (1824), который показал, что условием эффективной работы тепловой машины является наличие разности (перепада) температур. Р.Клаузиус заметил, что все физические процессы идут таким образом, что перепад температур между различными объектами уменьшается, поскольку энергия необратимо рассеивается. Это рассеяние энергии, приводящее к выравниванию температур между разными телами, он и назвал энтропией. Сформулированный им принцип постоянного роста энтропии (ее стремления к максимуму) стал называться «вторым законом термодинамики». В дальнейшем Р.Клаузиус пытался доказать этот принцип методами классической механики, но безуспешно (поскольку классической механике чужда идея необратимости).

Аналогичные попытки предпринимал австрийский физик Людвиг Больцман (1844-1906), но на одном из этапов исследований он понял, что второе начало термодинамики имеет статистическую природу. Л.Больцман показал, что принцип роста энтропии нельзя вывести из законов классической механики, что единственный способ доказать справедливость данного принципа состоит в использовании средств математической теории вероятностей. Той самой теории, которая выросла в трудах Б.Паскаля и П.Ферма из анализа азартных игр и тех случайных событий, которые доминируют в этих играх. Многие ученые (Й.Лошмидт, А.Пуанкаре, Э.Цермело и т.д.) не согласились с такой трактовкой энтропии, с тем, что она означает вероятность - всего лишь вероятность! - осуществления некоторого макроскопического состояния системы. Однако Л.Больцман был прав, и его знаменитая формула, связывающая энтропию и вероятность (S = lnW), вошла в золотой фонд науки.

А в 1948 г. американский математик и инженер Клод Шеннон (1916 - 2001), разрабатывая теорию связи, предложил измерять количество информации с помощью формулы, совершенно аналогичной формуле энтропии Больцмана. Другими словами, К.Шеннон перенес формулу энтропии Больцмана из статистической физики в теорию информации, тем самым перебросив мост между весьма далекими научными дисциплинами. Сначала многие ученые, включая и самого К.Шеннона, объясняли этот перенос (транспонирование) удобством расчетов. Но постепенно стал проясняться глубокий смысл того, почему одно и то же математическое соотношение успешно «работает» в термодинамике и теории информации. Как пишет Е.А.Седов, «стало понятно, что и Больцман, и Шеннон, в сущности, занимались одной и той же проблемой соотношения хаоса и порядка, хотя и подошли к ней и к связанной с ней цепочке систем и явлений с противоположных сторон» [1, с.168].

Наблюдая за тем, как формула энтропии неожиданно «перекочевала» из статистической физики в теорию информации, можно задать вопрос: был ли это однонаправленный процесс? Не происходила ли обратная трансляция идей и методов из теории информации в статистическую физику? Оказывается, происходила, что позволяет говорить о взаимовыгодном обмене идеями между указанными разделами науки!

В 1957 г. преподаватель Стэнфордского университета Эдвин Томпсон Джейнс (Edwin Thompson Jaynes) в одной из своих статей показал, что методами К.Шеннона можно воспроизвести все результаты не только основ классической термодинамики, но и результаты Д.Гиббса, относящиеся к области статистической термодинамики. В 1961 г. эта идея была обобщена американским профессором М.Трайбусом в статье «Теория информации - основа термостатики и термодинамики» [2].

Результаты Э.Т.Джейнса получили высокую оценку со стороны специалистов. Так, Л.М.Мартюшев в работе «Принцип максимума производства энтропии: история возникновения и современное состояние» [3] подчеркивает: «Хотя изначально теория информации создавалась с помощью некоторых понятий статистической физики, в настоящее время, следуя Джейнсу, можно принять информационный подход за основу при построении статистической физики. Тогда формализм статистической механики оказывается некой последовательностью действий, выполняя которые, мы имеем возможность получить наилучшую оценку при существенной ограниченности наших знаний о микромире (это статистическая методика предупреждения возможных ошибок)» [3, с.593-594]. Аналогичная оценка работ Э.Т.Джейнса содержится в [4].

Потребление энергии - главное условие работы мозга

Мозг не может работать без постоянного притока кислорода и глюкозы, которая составляет примерно четверть от всей потребляемой телом энергии. Он также нуждается в белках, витаминах, минеральных веществах, маслах и жирах. Жиры нужны для построения мембран нервных клеток (нейронов) и миелиновых оболочек аксонов. Аксоны представляют собой длинные цилиндрические отростки нервной клетки, по которым нервные импульсы идут от тела нейрона (сомы) к иннервируемым органам и другим нервным клеткам. Противоположностью аксонов являются дендриты - отходящие от тела нейрона короткие ветвящиеся отростки, воспринимающие импульсы от других нейронов. Эти импульсы (сигналы) они получают благодаря синапсам - контактам между двумя нейронами или между нейроном и определенной эффекторной клеткой. В мозге насчитывается порядка 100 миллиардов нейронов, и каждый из них (за счет дендритов) может быть связан с тысячью других нервных клеток. Совокупность всех дендритов образует дендритное дерево - поверхность, воспринимающую различные сигналы (раздражители). Исследования показывают, что дендритные деревья составляют значительную часть мозгового вещества.

В свое время ученые полагали, что существенная часть метаболической энергии тратится на проведение нервных импульсов по аксонным волокнам (аксонным коллатералям). То есть аксоны рассматривались как проводники основной части энергии в мозге. Однако эмпирические исследования с использованием совместной регистрации электрофизиологических и гемодинамических параметров заставили отказаться от этой точки зрения. Было установлено, что увеличение кровотока и уровня кислорода в мозге отражают повышение синаптической активности и локальных градиентов потенциалов на дендритах. Другими словами, именно на дендриты приходится основная доля проводимых нервных сигналов (и, соответственно, энергии) [5].

Важную роль в работе мозга играют нейромедиаторы - биологически активные химические вещества, посредством которых осуществляется передача электрохимического импульса от одного нейрона к другому или, например, от нейрона к мышечной ткани. Молекулы медиаторов реагируют со специфическими рецепторными белками клеточной мембраны, инициируя цепь биохимических реакций, вызывающих изменение трансмембранного тока ионов, что приводит к деполяризации мембраны и возникновению потенциала действия. Потенциал действия («спайк») - волна возбуждения, перемещающаяся по мембране живой клетки в виде кратковременного изменения мембранного потенциала на небольшом участке возбудимой клетки. Потенциал действия (ПД) - физиологическая основа нервного импульса.

Основными, т.е. наиболее распространенными, нейромедиаторами, функционирующими в нервной системе, являются ГАМК (гамма - аминомасляная кислота) и глутамат. Молекулы ГАМК выполняют тормозную роль, уменьшая вероятность развития потенциала действия, а молекулы глутамата - возбуждающую, так как они, напротив, увеличивают вероятность развития ПД. В связи с этим перед учеными встал вопрос: какие синапсы - глутаматные или ГАМК-синапсы - отличаются максимумом потребляемой энергии? Оказалось, что это глутаматные рецепторы. Как указывают Б.Баарс и Н.Гейдж [5], «глутаматные синапсы по разным оценкам потребляют до 90% энергии, идущей на поддержание работы мозга. Они очень важны при обучении и, поскольку глутамат является основным возбуждающим медиатором коры, множестве других функций» [5, с.302].

Мозг потребляет значительную энергию, поскольку основной принцип действия составляющих его клеток - проведение электрохимических сигналов. Все нейроны, как и все живые клетки, работают как крошечные батарейки, поддерживая на своих мембранах разность электрических потенциалов. Это возможно благодаря активному трансмембранному движению ионов против градиентов их концентраций, закачивающих отрицательные ионы внутрь клетки и выкачивающих положительно заряженные наружу. Для поддержания работы этих ионных насосов, а также для большинства других функций нервной клетки требуется постоянный приток макроэргических метаболитов. Из-за этого нейроны постоянно используют доступную энергию. С.В.Савельев в книге «Происхождение мозга» [6] пишет: «Мозг человека составляет 1/50 массы тела, а потребляет 1/10 всей энергии - в 5 раз больше, чем любой другой орган. Это несколько заниженные цифры, поскольку только потребление кислорода составляет 18%» [6, с.50-51].

Разобравшись с «энергетикой» нейронов, ученые приступили к изучению других клеток, являющихся неотъемлемой частью коры головного мозга, - астроцитов (глиальных клеток). Выяснилось, что они участвуют практически во всех энергозависимых процессах мозга. Но если нейроны вносят вклад в потребление энергии за счет генерации нервных импульсов, то астроциты вносят тот же вклад в связи с затратами на ведение «домашнего хозяйства» - обеспечение целостности и нормального функционирования самих нейронов. Предназначение астроцитов состоит, главным образом, в обеспечении нейронов энергией (питательными веществами) и в борьбе с активными формами кислорода и азота. При этом количество астроцитов в несколько раз превышает число нейронов мозга, так что каждый нейрон «окружён» целым ансамблем астроцитарных клеток [7].

Такие функции мозга, как память и мышление, являются энергозависимыми процессами. Выполнение операций кодирования, хранения и извлечения информации (память), а также операций сравнения и обобщения этой информации (мышление) требует постоянного притока энергии. С.В.Савельев считает, что с точки зрения затрат энергии эти когнитивные функции являются невыгодными для организма. Но эволюция «изобрела» эти функции, а естественный отбор поддержал их развитие, поскольку они существенно увеличивали способность животных приспосабливаться (адаптироваться) к постоянно меняющимся условиям окружающей среды. С.В.Савельев отмечает: «Память - энергозависимый процесс. Нет потока энергии - нет памяти. Любой энергозависимый процесс невгоден организму» [6, с.101]. Касаясь операций сравнения и обобщения информационных сигналов (ключевых аспектов мышления), он констатирует: «В целом мышление - самое невыгодное занятие для мозга. Трудно придумать более порочный способ тратить драгоценную энергию нейронов» [6, с.111]. Однако, как отмечено выше, наличие памяти и определенных элементов мышления (применительно к животным говорят об элементарной рассудочной деятельности) существенно повысило адаптационные возможности живых организмов. Один из примеров таких возможностей приводит сам С.В.Савельев: «Лиса должна вспомнить запах только что убитого зайца, иначе она будет долго ходить по следам своего обеда» [6, с.105].

Убедительной иллюстрацией высокой энергоемкости памяти является тот факт, что долговременная память (долговременное хранение информации в мозге) требует синтеза множества белков. В свою очередь, чтобы запустить синтез белков, требуется активация генов в ядре нейрона. Другими словами, гены принимают участие в превращении памяти из кратковременной в долговременную. Дуглас Филдз в статье «Как сохранить воспоминания» [8] пишет: «Эксперименты с животными показали, что их обучение требует синтеза новых белков в мозге в течение нескольких первых минут тренинга, в противном случае информация в памяти будет утеряна. Чтобы произвести новый белок, необходимо участок ДНК, находящийся в клеточном ядре, скопировать на относительно небольшую подвижную молекулу, назыв аемую матричной РНК (мРНК), которая затем выходит в цитоплазму клетки, где специальные клеточные органеллы считывают закодированные в ней инструкции и синтезируют молекулы белка. Исследователи обнаружили, что если заблокировать процесс транскрипции ДНК в мРНК или трансляции мРНК в белок, то образование долговременной памяти нарушится, в то время как кратковременная не пострадает» [8, с.62].

Д.Филдз и его коллеги, изучая механизмы активации генов в ядре нейрона, сделали важное открытие. Исходя из того, что информация в нервной системе кодируется паттерном импульсов нейронной активности в мозге, Д.Филдз предположил, что определенные гены в нервных клетках (гены, запускающие синтез белков, необходимых для долговременной памяти) могут включаться и выключаться в зависимости от характера импульсного разряда. Эксперименты подтвердили эту гипотезу. Д.Филдз и его сотрудники брали нейроны из зародышей мыши и выращивали их в культуре ткани. Подводя электроды прямо к чашке Петри, они установили, что можно включать и выключать конкретные гены, всего лишь устанавливая соответствующую им частоту стимулов на используемом электрофизиологическом стимуляторе. Стало ясно, что гены нейронов могут регулироваться в соответствии с паттерном импульсов, генерируемых клеткой. Таким образом, нервные импульсы в мозге многофункциональны: они не только обеспечивают взаимодействие между разными участками мозга (нейронными ансамблями этих участков), но и являются источником сигналов, посылаемых в ядро нейрона для производства белков памяти.

Количество этих белков, синтезируемых в мозге, огромно. Можно (не рискуя ошибиться) предположить, что в мозге синтезируется не менее 80% всех белков, производимых в организме животных и человека. Об этом свидетельствует открытие, сделанное учеными в рамках проекта по изучению генов мозга. Проект финансировал один из основателей корпорации Microsoft Пол Аллен, выделивший на научные цели 100 миллионов долларов. О результатах проекта сообщает Е.В.Кокурина в статье «Зеркало для мозга» [9]: «Буквально за три-четыре года удалось прокартировать все гены мыши и определить, какие из них работают в мозге. Был получен потрясающе важный результат: оказалось, что в геноме мыши, а соответственно, в геноме человека (цифры не будут сильно отличаться), более 80% всех генов работают именно на мозг. Для сравнения: в других органах это единицы процентов. То есть, в нашем геноме каждые восемь из десяти генов работают для мозга» [9, с.69]. Более поздние исследования, в частности, картирование генов, работающих в человеческом мозге, подтвердили эти цифры [10].

Это еще один факт, указывающий на высокую энергоемкость когнитивных процессов, реализуемых мозгом, на высокий уровень потребления энергии и вещества в ходе выполнения различных психических функций (в том числе памяти и мышления).

Отметим, что синтез белков (протеинов), связанных с долговременной памятью, активно исследуется в российских научных лабораториях. Важные результаты получены научными группами К.В.Анохина [11, 12], П.М.Балабана [13, 14] и других нейробиологов.

Мозг расходует энергию не только на синтез различных белков, но и на производство микроРНК. МикроРНК являются уникальными эндогенными некодирующими РНК длиной около 22 нуклеотидов, каждая из которых может регулировать трансляцию сотен матричных РНК, тем самым управляя целыми сетями генов. МикроРНК широко представлены в центральной нервной системе (ЦНС). В настоящее время установлено, что целый ряд микроРНК вовлечен в процесс синаптической пластичности, а также в формирование долговременной памяти. При этом нарушение биогенеза микроРНК приводит к значительным когнитивным дисфункциям. Ученые выделили множество микроРНК, позитивно влияющих на обучение и долговременную память. В их числе miR-92, miR-195, miR-183, miR-132, miR-34, miR-137 и т.д. [15].

Еще одна «статья энергетических расходов» мозга - производство стволовых клеток, из которых в дальнейшем синтезируются нейроны. Как известно, новые нервные клетки производятся не только в период эмбрионального развития, но и в мозге взрослых людей. В 2000 г. Элеонора Магуайр и ее сотрудники из университетского колледжа Лондона, изучая мозг лондонских таксистов, вынужденных запоминать тысячи улиц и способы проезда к ним, обнаружила увеличение гиппокампа у своих подопечных [16]. Это пример синтеза новых нейронов в области мозга, испытывающей информационную нагрузку.

Самое интересное состоит в том, что в производстве нейральных стволовых клеток участвуют транспозоны, т.е. мобильные генетические элементы. Барбара Мак-Клинток, изучая генетику кукурузы, открыла транспозоны в 1951 г., но Нобелевскую премию получила за этот результат лишь в 1983 г. Причина столь большой задержки в признании ее открытия - скептицизм авторитетных ученых, последователей Томаса Моргана (1866 - 1945), относительно реального существования транспозонов («прыгающих генов»). Эти авторитетные ученые называли идеи Мак -Клинток «неправдоподобными», утверждая, что гены должны иметь «строгую прописку» (четкую локализацию) и не могут перемещаться из одной области хромосом в другую [17, 18]. А сегодня в различных лабораториях установлена важная роль транспозонов в нейрогенезе, т.е. в сборке новых нейронов в мозге и, прежде всего, в гиппокампе, который связан с долговременной памятью [19].

Внутренняя энтропия индуктивного вывода (энтропия индукции с точки зрения нейробиологии)

После ознакомления с некоторыми сведениями, раскрывающими механизмы работы мозга и составляющих его клеток, нетрудно ввести понятие энтропии индуктивного вывода. Выше мы отметили, что память - это кодирование и извлечение информации, а мышление - это сравнение и обобщение разных информационных сигналов. Индуктивный вывод - это, собственно говоря, ключевой акт мышления, который как раз состоит в обобщении информационных сигналов, хранимых ансамблями нейронов. Мы показали, что любая когнитивная функция, реализуемая нервной системой, требует затрат энергии. Эта энергия расходуется на проведение нервных импульсов по дендритам и аксонам от клетки к клетке, на эффективное функционирование нейромедиаторов (глутамата, ГАМК и т.д.), на поддержание работы ионных насосов, которые обеспечивают разность электрических потенциалов на мембранах клеток. Эта энергия затрачивается на функционирование астроцитов - глиальных клеток, защищающих нейроны от активных форм кислорода (и не только), а также на производство огромного количества белков, необходимых для долговременной памяти. Расходы энергии также связаны с производством микроРНК, регулирующих трансляцию сотен матричных РНК, с синтезом нейральных стволовых клеток, являющихся предшественниками нейронов. Все эти энергозависимые процессы самым непосредственным образом связаны с памятью и мышлением (а, значит, и с индуктивными выводами, которые постоянно генерирует наш мозг, обрабатывая поступающую информацию).

В соответствии с основными принципами термодинамики любые процессы, протекающие с использованием энергии, сопровождаются рассеянием этой энергии, т.е. ростом энтропии. Поскольку индуктивный вывод, обобщающий информацию, хранимую нейронами, требует затрат энергии, он (индуктивный вывод) также сопровожд ается рассеянием энергии и ростом энтропии. Затраты энергии, связанные с индуктивным выводом, складываются, по меньшей мере, из двух видов расходов.

Первый класс расходов (издержек) - долговременное хранение нейронами сведений (фактов), подвергающихся индуктивному обобщению. Как мы уже говорили, долговременная память требует производства новых белков, а это производство, в свою очередь, нуждается в активации генов, находящихся в ядре нейрона. Поскольку степень справедливости индуктивного вывода зависит от количества фактов, рассмотренных (проанализированных) перед их обобщением, память должна сохранить максимум этих фактов. Чем больше фактов запечатлено в долговременной памяти, тем выше вероятность правильности индукции. Следовательно, правильный (соответствующий истине) индуктивный вывод требует от нейронов хранения большого числа информационных сигналов и, разумеется, значительного производства белков. Логикам известно, что индукция делится на полную и неполную. В случае полной индукции рассматриваются все факты, необходимые для правильного вывода, а в случае неполной - только часть необходимой информации. В связи с этим неполная индукция способна приводить к ошибкам (к неверным умозаключениям). энтропия рассеяние энергия термодинамика

С термодинамической точки зрения неполная индукция характеризуется меньшей энтропией, чем ее противоположность - полная индукция. Это обусловлено тем, что в случае полной индукции в памяти сохраняется больше фактов (информации, необходимой для умозаключения), чем в случае неполной, т.е. нейронами производится больше белков и активируется больше генов. Это кажется удивительным, ведь неопределенность (стохастичность) неполной индукции выше по сравнению с индукцией, отличающейся полнотой, следовательно, и энтропия неполной индукции должна быть выше. Но в действительности, с учетом энергетических затрат нейронов на хранение информации, энтропия полной индукции всегда превосходит энтропию неполной.

Второй класс расходов (энергетических издержек), связанных с индуктивным выводом, - это непосредственные затраты энергии на индуктивное обобщение информации. Что происходит в мозге, когда мы обобщаем информацию? Мы переносим сведения, известные для одних элементов изучаемого множества, на другие элементы того же множества. Мы экстраполируем имеющиеся у нас знания с одних объектов на другие. Поскольку разные элементы того или иного множества не могут храниться в одном и том же ансамбле нейронов, при индуктивном обобщении в мозге происходит следующее. Нейронные ансамбли, хранящие информацию об одном объекте, устанавливают взаимодействие с нейронными ансамблями, хранящими информацию о другом объекте. В дальнейшем, после осуществленного переноса (экстраполяции), результаты этого переноса нужно запомнить. Иначе говоря, снова должна «заработать» долговременная память, которая сохранит наш индуктивный вывод. В противном случае нам придется заново делать этот вывод (если мы догадаемся обобщить имеющиеся факты надлежащим образом).

Но для упрощения наших расчетов, связанных с определением энтропии ключевых мыслительных процессов, можно учитывать лишь первый класс расходов, а именно энергетические затраты на работу долговременной памяти, хранящей сведения для логической обработки. Используя данное упрощение, зададимся вопросом: какова энтропия дедукции и существуют ли какие-либо «энтропийные» различия между дедукцией и индукцией?

Рассмотрим самый распространенный пример дедуктивного вывода: «Все люди смертны; Сократ - человек, следовательно, Сократ - смертен». Этот пример показывает, что для получения правильного дедуктивного умозаключения достаточно иметь большую и малую посылку силлогизма: «Все люди смертны», «Сократ - человек». Сопоставление сведений, содержащихся в этих посылках, автоматически приводит к правильному умозаключению. Какие нейронные процессы обусловливают дедуктивный вывод? Разумеется, хранение в памяти большой и малой посылок силлогизма. В принципе, больше ничего не требуется. Иначе говоря, нейроны должны хранить лишь два факта: первый - о смертности всех людей, второй - о том, что Сократ является представителем рода людей. В данной ситуации энергия нейронов расходуется лишь на синтез белков (протеинов), необходимых для удержания в памяти этих двух фактов.

А что мы имеем в случае индуктивного вывода? Как отмечено выше, если изучаемое множество состоит из большого числа элементов, мы должны сохранить в памяти информацию обо всех этих элементах (в случае полной индукции) или, по крайней мере, информацию о значительной части элементов (в случае неполной индукции). При индуктивном обобщении нейроны должны хранить гораздо больше сведений, чем в случае реализации дедуктивных умозаключений. Отсюда следует (учитывая лишь нагрузку на память), что энергетические затраты нейронов на производство индуктивного вывода больше, чем на производство дедуктивного умозаключения. Таким образом, энтропия индукции всегда превосходит энтропию дедукции.

В данном параграфе мы назвали энтропию индуктивного вывода «внутренней энтропией», так как предметом нашего рассмотрения были чисто «нейронные» затраты энергии на выполнение индуктивного умозаключения. Мы показали, что при обобщении информации нервные клетки вынуждены хранить многочисленные факты, подлежащие обобщению, ввиду чего клетки активируют свои гены, а гены запускают синтез белков (и, помимо этого, энергия расходуется на генерацию нервных импульсов). Но это лишь одна сторона медали. У индуктивного вывода имеется еще одна разновидность энтропии, которую мы решили назвать «внешней». Она (внешняя энтропия) существенно превосходит «внутреннюю энтропию» индукции.

Но, прежде чем переходить к анализу этой внешней энтропии, приведем два примера научной деятельности, в которых последовательное накопление фактов завершилось индуктивным выводами весьма высокой общественной значимости. В частности, один пример - это путь Чарльза Дарвина к созданию теории происхождения видов (теории биологической эволюции), а второй пример - путь Эдвина Хаббла к открытию «закона Хаббла», связавшего скорость взаимного удаления галактик с их расстоянием. Как известно, именно этот закон лег в основу теории расширения Вселенной - космологической концепции, показывающей, как эволюционировала наша Вселенная. Эти примеры могут служить дополнительными аргументами в пользу того, что энтропия индукции всегда превосходит энтропию дедуктивного умозаключения.

Научные открытия Ч.Дарвина и Э.Хаббла

Приведем схематическое описание фактов и обстоятельств, индуктивно натолкнувших Чарльза Дарвина на идею биологической эволюции, а также позволивших ему понять движущие силы (механизмы) этой эволюции. Информацию об этих фактах и обстоятельствах можно без труда найти в многочисленных работах, освещающих путь Ч.Дарвина к его открытию. Мы пользовались материалами, представленными в источниках [20, 21, 22, 23, 24, 25, 26, 27]. Большую роль в биографии Ч.Дарвина сыграло путешествие к берегам Южной Америки на корабле «Бигль». Это путешествие или, лучше сказать, исследовательская экспедиция началась 27 декабря 1831 г., а

завершилась 2 октября 1836 г. Корабль «Бигль» обошелся британской казне в 7803 фунтов стерлингов. Именно на борту этого корабля Ч.Дарвин прочитал 1-й том книги Ч.Лайеля «Основные начала геологии», которая заронила у молодого натуралиста первые мысли об эволюции. Что касается идей естественного отбора и борьбы за существование (конкуренции за ресурсы), то к ним Ч.Дарвин пришел уже после экспедиции. Ниже приводятся факты, благодаря которым он сделал свое открытие.

Чтение 1-го тома «Основных начал геологии» Ч.Лайеля и усвоение идей о медленном (эволюционном) формировании геологического облика Земли.

Обнаружение костей гигантского мегатерия (вымершего животного) на аргентинском побережье рядом с морскими раковинами, похожими на те, что существуют в наше время (развенчание теории катастроф Ж.Кювье).

Южноамериканское наблюдение: местный малорослый страус бістро исчезает в условиях, благоприятных для более крупного его соперника (свидетельство давления внешней среды, способствующей усовершенствованию видов).

Южноамериканское наблюдение: в сходных условиях соседствуют родственные виды (указание на то, что единый тип распространился по большому пространству и с течением времени изменился, приспосабливаясь к различным условиям окружающей среды).

Южноамериканское наблюдение: самцы птиц постоянно демонстрируют яркую окраску и мелодичное пение, включая «ухаживающие танцы», в присутствии самок (это стало отправным пунктом для выдвижения идеи полового отбора, то есть выбора партнера - еще одного фактора, направляющего эволюционный процесс).

Обнаружение разных видов вьюрков и черепах на островах Галапагосского архипелага, причем эти виды отличались друг от друга в зависимости от расстояния, отделяющего один остров от другого и от материка (указание на роль географической изоляции в становлении новых разновидностей).

Общение с людьми, разводящими голубей и других животных, чтобы выяснить правила искусственного отбора, целенаправленной селекции (это стимулировало появление идеи естественного отбора).

Чтение 2-го тома «Основных начал геологии» Ч.Лайеля и знакомство с мыслью Альфонса Декандоля (1806-1893) о том, что «все растения данной местности находятся в состоянии войны друг с другом» (намек на идею о борьбе за существование).

Чтение книги Томаса Мальтуса (1766-1834) «Опыт закона о народонаселении», где утверждалось, что рост численности населения опережает рост производства средств существования, что приводит к конкуренции между людьми за эти средства (Ч.Дарвин перенес эти рассуждения на мир животных).

Изучение «закона зародышевого сходства», сформулированного Карлом фон Бэром (1792-1876) в 1828 г. и гласящего, что на начальных этапах эмбрионального развития зародыши животных разных видов сходны по своему строению (Ч.Дарвин увидел в этом законе отражение единства происхождения животного мира, общность начальных этапов эволюции в пределах типа).

Чтение статьи Альфреда Уоллеса (1823-1913) «О законе, регулирующем появление новых видов» (1855), которая укрепила уверенность Ч.Дарвина в справедливости его собственных идей об эволюции. Из переписки с А.Уоллесом он узнал, что тот установил роль борьбы за существование в появлении новых видов также после прочтения книги Томаса Мальтуса.

Еще раз рассмотрим «энтропийные» различия между индукцией и дедукцией. Возьмем дедуктивный силлогизм: «Все биологические виды - результат эволюции, черепахи - один из биологических видов, следовательно, черепахи - продукт эволюции». Сравним его с индуктивным выводом, к которому пришел Ч.Дарвин на основе тех фактов и обстоятельств, которые описаны нами выше (в схематической форме). В каком случае нейронные ансамбли потратят больше энергии на сохранение (удержание в памяти) информации, определяющей логический вывод: при генерации дедуктивного силлогизма или при индуктивном обобщении? Конечно, при индуктивном обобщении. Причина очевидна: в этом случае нейронам придется хранить большой объем сведений. Эти сведения схематически изложены в одиннадцати пунктах, отражающих ту информацию, с которой сталкивался Ч.Дарвин в ходе путешествия на корабле «Бигль» и после этого путешествия.

Теперь приведем схематическое описание фактов и обстоят ельств, индуктивно натолкнувших американского астронома Эдвина Хаббла (1889 - 1953) на вывод о том, что скорость взаимного разбегания галактик прямо пропорциональна расстоянию между ними. Это вывод, как мы уже говорили, лег в основу космологической теории расширения Вселенной. Чтобы выявить эти факты и обстоятельства, мы проанализировали материалы, содержащиеся в источниках [28, 29, 30, 31, 32, 33]. Если важным фактором биографии Ч.Дарвина было его участие в исследовательской экспедиции на корабле «Бигль», то аналогичным фактором научной жизни Э.Хаббла была его работа в обсерватории Маунт Вилсон. Данная обсерватория была оснащена 100 - дюймовым телескопом, позволявшим видеть столь удаленные галактики, какие не мог видеть ни один другой телескоп на планете в период активной научной деятельности Э.Хаббла. На покупку и шлифовку зеркала для данного телескопа было потрачено 45 тысяч долларов (средства выделял филантроп Джон Хукер). Ниже приводятся факты, обобщение которых привело Э.Хаббла к важному астрономическому открытию.

Изучение результатов Весто Слайфера (1875-1969), который в 1914 г. измерил лучевые скорости 15-ти туманностей, т.е. галактик, подобных нашей, используя призменный спектрограф, основанный на эффекте Доплера. В.Слайфер, сотрудник обсерватории Ловелла, обнаружил, что оптические линии в спектрах данных туманностей систематически смещаются в сторону красных волн («эффект красного смещения»), что свидетельствовало о разбегании галактик. В 1917 г. В.Слайфер измерил лучевые скорости уже для 25-ти туманностей.

Обнаружение в галактике M31, называемой туманностью Андромеды, цефеид - пульсирующих переменных звезд, позволивших определить расстояние до этой галактики. Э.Хаббл (1923) использовал простое правило (правило Х.Шепли): видимая светимость звезды пропорциональна ее абсолютной светимости и обратно пропорциональна квадрату расстояния. В дальнейшем Э.Хаббл обобщил метод цефеид как средство измерения космических расстояний на другие галактики.

Знакомство с космологической моделью В.де Ситтера (1917), который рассмотрел астрономические следствия общей теории относительности А.Эйнштейна. Де Ситтер показал, что если средняя плотность вещества во Вселенной мала, то эйнштейновские силы отталкивания (связанные с лямбда - членом А.Эйнштейна) будут преобладать над тяготением вещества и вызовут расширение Вселенной. Космические силы отталкивания пропорциональны расстоянию, поэтому и скорости взаимного удаления частиц вещества (галактик) будут пропорциональны расстоянию. Де Ситтер теоретически, используя теорию Эйнштейна, предсказал «эффект красного смещения», а также закон пропорциональности расстояний и скоростей галактик («закон Хаббла»).

Определение расстояний до 18-ти галактик с помощью метода цефеид и сравнение этих расстояний с лучевыми скоростями этих галактик. В 1929 г.

Э.Хаббл получил эти результаты, используя 100-дюймовый телескоп обсерватории Маунт Вилсон. Лучевые скорости туманностей (галактик) определял его коллега, опытный спектроскопист, Милтон Хьюмасон. В статье «Связь между расстоянием и лучевой скоростью внегалактических туманностей» (1929) Э.Хаббл написал, что ему удалось установить «приблизительное линейное соотношение» между скоростями и расстояниями галактик, т.е. получить свидетельства в пользу предсказаний модели де Ситтера.

Определение расстояний и скоростей для галактик, расположенных гораздо дальше, чем первые 18 туманностей, многие из которых находились в созвездии Девы. В марте 1929 г., продолжая исследования, Э.Хаббл измерил лучевые скорости галактик в созвездии Волосы Вероники. Эти галактики удалялись со средней скоростью 7500 км/с. Позже были измерены лучевые скорости галактик в созвездии Большой Медведицы. Наконец, в 1936 г. удалось определить расстояние для галактик, скорость удаления которых составила 42 000 км/с (14 процентов скорости света). Свет от этих галактик идет к нам 260 миллионов лет. Такое расстояние соответствовало пределу возможностей 100-дюймового телескопа, который использовал Э.Хаббл.

Возьмем дедуктивный силлогизм: «Все галактики испытывают взаимное удаление (разбегание), туманность Андромеды (M31) является галактикой, следовательно, данная туманность удаляется от других галактик». Сравним его с индуктивным выводом, к которому пришел Э.Хаббл на основе тех фактов и обстоятельств, которые описаны нами выше (в схематической форме). Снова сформулируем вопрос: в каком случае нейронные ансамбли потратят больше энергии на сохранение информации, определяющей конечный (финальный) вывод? В случае дедуктивного силлогизма или при индуктивном обобщении? Ответ, как и в первом случае (при анализе открытия

Ч.Дарвина), вполне очевиден и вряд ли может вызвать возражения. Таким образом, энтропия индукции всегда выше энтропии дедукции.

Внешняя энтропия индуктивного вывода (энтропия индукции с точки зрения стоимости экспериментов)

Любой индуктивный вывод является продуктом не только активности нейронных ансамблей нашего мозга, которые затрачивают энергию на поддержание кратковременной и долговременной памяти, в том числе на обобщение информации, хранящейся в мозге. Другими словами, индуктивное умозаключение - это не только результат производства белков (протеинов), необходимых для эффективной памяти, и синтеза медиаторов, опосредующих передачу нервных импульсов (потенциалов действия). Индуктивный вывод - это еще и продукт тех экспериментов, которые постоянно ставят ученые при исследовании того или иного физического явления, а также продукт той деятельности, в ходе которой создаются (изобретаются) новые приборы, используемые в экспериментах. Чтобы получить новую индуктивную идею, нужно организовать и осуществить эксперимент, который никто еще не ставил. В свою очередь, чтобы поставить оригинальный эксперимент, необходимо создать (сконструировать) новые приборы, которые будут использоваться в этом эксперименте. Разумеется, конструирование новых научных приборов (аппаратуры, оборудования, технического инструментария) неизбежно связано с затратами энергии и вещества. Любой эксперимент, преследующий цель дать информацию (исходные посылки) для новой индуктивной идеи, требует материальных ресурсов. В одних случаях эти ресурсы незначительны: говорят, что знаменитый физик Майкл Фарадей сделал массу открытий в области электромагнетизма, используя простой технический инструментарий, стоимость которого была незначительной. В других случаях эти ресурсы могут быть чрезмерно велики: чтобы сделать обоснованное индуктивное умозаключение о способности человека высадиться на другом астрономическом объекте, удаленном от нашей планеты, в США была реализована программа «Аполлон». Работа в рамках этой программы проводилась с 1961 по 1975 г., при этом осуществлено 6 успешных высадок астронавтов на Луну (последняя в 1972 г.). Стоимость 13 - летней программы «Аполлон» составила более 22 -х миллиардов долларов. Иначе говоря, 6 научных экспериментов (6 успешных высадок астронавтов), обусловивших обоснованное индуктивное умозаключение о способности человека посетить иной астрономический объект, обошлись бюджету страны в 22 миллиарда долларов. Какова величина энтропии этого индуктивного умозаключения? Она должна определяться, исходя из количества энергии и вещества, затраченных на указанные успешные эксперименты. В любом случае она, эта энтропия, окажется колоссальной. И, конечно, существенно превосходящей энтропию дедуктивного вывода (хотя в этом мы убедились выше, рассматривая «внутреннюю энтропию» индукции). Энтропию индуктивного вывода, связанную с затратами энергии и вещества на постановку новых экспериментов (в том числе на производство технического инструментария, используемого в экспериментах), мы называем «внешней энтропией» индукции. Разумеется, она всегда превосходит внутреннюю энтропию той же индукции.

Таким образом, индуктивный метод исследования природы - это не только обобщение имеющихся эмпирических данных, но и постановка экспериментов, нацеленных на получение этих данных. Английский методолог Ф.Бэкон (1561-1626), развивая свою концепцию индукции и индуктивной деятельности, понимал ее именно таким образом: как постоянное экспериментирование, позволяющее получать новую информацию, которая в дальнейшем анализируется и обобщается.

Как мы видели, дедуктивный вывод практически не связан с какими - либо затратами вещества и энергии. Можно сказать, что он достается нам «бесплатно», словно какой-то «волшебный подарок», создающий иллюзию легкости и непринужденности научных исследований. Процедура использования индукции представляет собой нечто совсем иное: здесь нужно последовательно накапливать информацию об интересующей нас системе (множестве), ставить эксперименты и затрачивать материальные ресурсы для того, чтобы добиться максимума рассмотренных элементов системы. Лишь в этом случае мы можем быть уверенными, что наши обобщения будут адекватными, правильно отражающими реальность.

Постановка экспериментов неизбежно связана с выполнением определенной работы или, другими словами, совокупности рабочих операций различных видов. Слово «работа» сразу напоминает закономерности термодинамики, и это неслучайно. Термодинамические принципы говорят о том, что выполнение любой работы сопряжено с затратами энергии, а затраты энергии - с энтропией. Максимум энергетических затрат соответствует максимуму энтропии. Отсюда следует, что индуктивные методы постижения окружающего мира - это «высокоэнтропийные» методы, то есть процедуры (стратегии), связанные с высокой величиной энтропии. И, наоборот, дедуктивные операции - это операции, соответствующие минимуму производства энтропии.

Примечательно, что «энтропийная» трактовка индуктивного вывода могла быть открыта еще в 1929 г., но почему-то этого не произошло. В 1929 г. венгерский физик Лео Сцилард (1898-1964) опубликовал статью, в которой содержалось решение парадокса «демона Максвелла». Как известно, этот «демон», придуманный Джеймсом Максвеллом (1831 -1879), обладал способностью сортировать молекулы, находящиеся в замкнутом сосуде, по скоростям так, что в одной половине сосуда концентрировались быстрые («горячие») молекулы, а в другой половине - медленные. Максвелл считал, что его изощренный «демон-сортировщик» может нарушать второе начало термодинамики, то есть «отменять» принцип роста энтропии Клаузиуса. Однако в 1929 г. Л.Сцилард показал, что для осуществления подобной сортировки «демон» должен распознавать быстрые и медленные молекулы, а для этого требуется измерять их скорости. Иначе говоря, «демон» должен владеть информацией о динамике молекул, для чего необходимо выполнить работу (измерение), а работа связана с затратами энергии и, соответственно, ростом энтропии. Описание этой статьи Л.Сциларда можно найти в [34, 35].

Этот результат Л.Сциларда можно было применить для сравнения энтропии индукции и дедукции, но никто этого не сделал. Ученые обратили лишь внимание на то, что Л.Сцилард, решая парадокс «демона Максвелла», ввел в физику понятие информации за три десятилетия до трудов К.Шеннона. Впервые сравнение «энтропийных» характеристик индукции и дедукции (хотя и бегло, мимолетно) провел канадский физик Джон Киркалди (John Kirkaldy) в 1965 г. в статье «Термодинамика человеческого мозга» [36]. Как пишет Л.М.Мартюшев в работе [3], «Первое обсуждение процессов в мозге с позиции экстремизации производства энтропии можно обнаружить в 1965 г. у уже упоминавшегося ранее несколько раз Д.Киркалди [207], рассматривавшего мозг как необратимую систему, в которую поступают потоки энергии и информации из окружающей среды. Процессы в мозге сопровождаются, по мнению Киркалди, то уменьшением производства энтропии (например, при обучении и дедукции), то максимизацией (например, при творчестве и индукции)» [3, с.610].

Здесь [207] - это статья Д.Киркалди «Термодинамика человеческого мозга» (1965).

А.Азимов в книге «Путеводитель по науке» [37] отмечает: «Евклид сумел свести аксиомы к нескольким простым определениям. Из этих аксиом он создал сложную и величественную систему, получившую название евклидова геометрия. Никогда не было создано так много практически из ничего, и наградой Евклиду стало то, что его учебник используют с незначительными изменениями более 2000 лет. Греки были влюблены в заманчивую игру под названием «дедукция» и, увлекшись, совершили две серьезные ошибки. Они сочли дедукцию наиболее приемлемым средством достижения знаний, хотя и были достаточно осведомлены, что в некоторых случаях ее будет недостаточно; например, расстояние от Афин до Коринфа нельзя определить с помощью абстрактных принципов, это расстояние следовало измерить» [37, с.13].

Слова А.Азимова о том, что «греки были влюблены в заманчивую игру под названием «дедукция» (и недооценивали индукцию и эксперимент), допускают интересную интерпретацию. В свете сформулированного выше принципа о том, что индуктивным методам соответствует более значительная величина энтропии, чем дедукции, становится ясно, что греки попросту заставили себя поверить в возможность «проникновения в тайны Вселенной» без существенных усилий, т.е. постепенного накопления фактов, обосновывающих наши индуктивные гипотезы. На языке термодинамики можно сказать: греки пытались избежать затрат энергии и, следовательно, максимума производства энтропии.

Те же самые рассуждения применимы к «универсальной характеристике» (универсальному алгоритму) Г.Лейбница и программе формализации математики Д.Гильберта.

«Универсальная характеристика» Г.Лейбница и программа формализации математики, предложенная Д.Гильбертом

Прежде чем описывать смысл «универсальной характеристики» Г.Лейбница и программы формализации математики, выдвинутой Д.Гильбертом, дадим определение формальных систем. Формальные системы - это теории, достигшие строгой формализации, предполагающей полную абстракцию от смысла слов используемого языка. В такой теории все условия, регулирующие употребление этих слов, явно высказаны посредством аксиом и правил, позволяющих вывести одну фразу из другой. Формальная система считается определенной, если а) задано конечное или счетное множество произвольных символов; б) имеется подмножество выражений, называемых формулами; в) выделено подмножество формул, называемых аксиомами; г) имеется конечное множество отношений между формулами, называемых правилами вывода.

Успехи формализации ряда математических теорий, т.е. изложения результатов этих теорий в аксиоматико-дедуктивной форме, заставили некоторых ученых поверить в то, что вся наука может быть формализована. Кроме того, они поверили, что и сам метод открытия научных истин может представлять собой формальную систему, четко определенную совокупность предписаний (инструкций), позволяющих постигать законы природы без обращения к опытам (экспериментам). Возникло убеждение, что единственный путь «проникновения в тайны Вселенной» - использование строгих (детерминированных) алгоритмов и, прежде всего, дедуктивных методов обработки информации. Разумеется, подобные алгоритмы - прямая противоположность нестрогих (вероятностных) алгоритмических стратегий.

Одним из тех, кто разделял подобное убеждение, был немецкий математик и философ Готфрид Вильгельм Лейбниц (1646 -1717), который выдвинул проект создания «универсальной характеристики», «универсального языка», под которым он понимал некий универсальный (строгий, детерминированный) алгоритм исследования окружающего мира. Парадоксально, но основой этого алгоритма он считал «механические манипуляции с символами», а не эксперимент и наблюдения. Восхищаясь строгостью геометрии Евклида, в которой те или иные утверждения дедуктивно выводятся из небольшого числа аксиом, Г.Лейбниц пришел к выводу, что вся наука и все ее методы изучения природы м ожно свести к дедуктивному выведению одних утверждений из других. Он предполагал, что любая истина (любая природная закономерность), еще неизвестная нам, может быть открыта при помощи алгоритма, подобного дедукции, опирающейся на «самоочевидные» аксиомы. При этом немецкий математик забыл поинтересоваться, откуда берутся сами аксиомы. Другими словами, факт эмпирического происхождения этих аксиом оказался за пределами его внимания.

В начале XX века проект «универсальной характеристики» Г.Лейбница возродился в несколько необычном виде: немецкий математик Давид Гильберт основал программу «формализации математики». Но на пути к достижению этой цели он предложил сначала формализовать арифметику - один из разделов математической науки. В частности, в 1900 г. на II Международном конгрессе математиков в Париже Д.Гильберт выступил с докладом, в котором изложил список 23 -х математических проблем, ожидающих решения. В этом списке под номером 2 фигурировала задача «доказать непротиворечивость арифметики формальными средствами самой арифметики». Д.Гильберт верил в положительное решение этой задачи, так как считал возможным аксиоматизировать всю математику, превратить ее в строгую формальную систему, в которой новые математические истины открываются путем оперирования абстрактными символами, на основе дедуктивных правил, подобных правилам «универсального алгоритма» Г.Лейбница.

Однако вскоре выяснилось, что Д.Гильберт серьезно заблуждается. В 1931 г. австрийский логик Курт Гедель опубликовал работу «О принципиально неразрешимых положениях в системе Principia Mathematica и родственных ей системах», в которой доказал свою знаменитую теорему о неполноте. Этот результат показал невозможность положительного решения задачи доказать непротиворечивость арифметики средствами самой арифметики. Кроме того, теорема Геделя показала невозможность аксиоматизировать всю математику, т.е. неосуществимость предложенной Д.Гильбертом программы формализации всей математической науки (и методов, с помощью которых открываются новые математические истины).