Нейробум: поэзия и проза нейронных сетей

Каждый автомат имеет несколько входов (n), несколько выходов (p) и конечный набор (s) параметров состояния. Он вычисляет s+p функций от n+s переменных. Аргументы этих функций _ входные сигналы (их n) и текущие параметры состояния (их s). Значения функций - выходные сигналы (их p) и параметры состояния на следующем шаге (их s). Каждый такой автомат можно представить как систему из s+p более простых автоматов (рис. 9). Эти простые автоматы вычисляют по одной функции от n+s переменных. Смена состояний достигается за счет того, что часть значений этих функций на следующем шаге становится аргументами - так соединены автоматы (см. рис. 9).

Таким образом, без потери общности можно рассматривать сеть автоматов как набор устройств, каждое из которых вычисляет функцию нескольких переменных f(x₁, ... ,x_n). Этот простой, но фундаментальный факт позволяет использовать предыдущие результаты. Нейронные сети позволяют с любой точностью вычислять произвольную непрерывную функцию f(x₁, ... ,x_n). Следовательно, с их помощью можно сколь угодно точно аппроксимировать функционирование любого непрерывного автомата.

Рис. 9. Представление общего автомата с помощью модулей, вычисляющих функции многих переменных от входных сигналов: на верхней схеме представлено функционирование автомата, на нижней он разложен на отдельные модули. Приняты обозначения:

In _ входные сигналы, Out _ выходные сигналы, S _ параметры состояния, T _ дискретное время, Out(In,S) _ зависимость выходных сигналов от значений входных и параметров состояния, S(In,S) _ зависимость состояния в следующий момент дискретного времени от входных сигналов и текущего состояния, f₁-f_p _ функции переменных (In,S) _ компоненты вектора Out(In,S), f_p+1-f_p+s _ функции переменных (In,S) _ компоненты вектора S(In,S), индексами T, T1 обозначены соответствующие моменты времени.

Литература

1. Колмогоров А.Н. О представлении непрерывных функций нескольких переменных суперпозициями непрерывных функций меньшего числа переменных. Докл. АН СССР, 1956. Т. 108, No. 2. С.179-182.

2. Арнольд В.И. О функциях трех переменных. Докл. АН СССР, 1957. Т. 114, No. 4. С. 679-681.

3. Колмогоров А.Н. О представлении непрерывных функций нескольких переменных в виде суперпозиции непрерывных функций одного переменного. Докл. АН СССР, 1957. Т. 114, No. 5. С. 953-956.

4. Витушкин А.Г. О многомерных вариациях. М.: Физматгиз, 1955.

5. Арнольд В.И. О представлении функций нескольких переменных в виде суперпозиции функций меньшего числа переменных // Математическое просвещение, 19 № с. 41-61.

6. Stone M.N. The generalized Weierstrass approximation theorem. Math. Mag., 1948. V.21. PP. 167-183, 237-254.

7. Шефер Х. Топологические векторные пространства. М.: Мир, 1971. 360 с.

8. Cybenko G. Approximation by superposition of a sigmoidal function. Mathematics of Control, Signals, and Systems, 1989. Vol. 2. PP. 303 - 314.

9. Hornik K., Stinchcombe M., White H. Multilayer feedforward networks are universal approximators. Neural Networks. 1989. Vol. 2. PP. 359 - 366.

10. Kochenov D.A., Rossiev D.A. Approximations of functions of C[A,B] class by neural-net predictors (architectures and results). AMSE Transaction, Scientific Siberian, A. 1993, Vol. 6. Neurocomputing. PP. 189-203. Tassin, France.

11. Gilev S.E., Gorban A.N. On completness of the class of functions computable by neural networks. Proc. of the World Congress on Neural Networks (WCNN'96). Sept. 15-18, 1996, San Diego, CA, Lawrens Erlbaum Accociates, 1996. PP. 984-991.

12. Горбань А.Н., Россиев Д.А. Нейронные сети на персональном компьютере. Новосибирск: Наука (Сиб. отделение), 1996. 276 с.