Оглавление

АППАРАТ НЕЛИНЕЙНОЙ ДИНАМИКИ В РАМКАХ НЕЙРОСЕТЕВОГО - МОДЕЛИРОВАНИЯ В СОЦИАЛЬНО-ЭКОНОМИЧЕСКИХ ЗАДАЧАХ
Буфалов С. А.
Томский государственный университет

        Модели социально-экономических и общественно-политических процессов самоорганизации должны учитывать наличие антропологического измерения. Этот факт приводит к значительным трудностям в использовании аппарата точных наук, в частности, нелинейной динамики (синергетики) в экономике, социологии, политологии и т.д. Скудость средств качественного анализа в этих областях научного знания сказывается на адекватности упомянутых выше моделей.
        Здесь рассмотрен один из возможных путей аккумуляции социально-экономическими и политическими науками средств нелинейно-динамического описания. Он приемлем для любой модели, позволяющей нейросетевое описание! Широкий перечень таких моделей и задач (вы можете дополнить его сами!) можно найти в [2, 4].
        Что такое нейронная сеть? Что такое нейросетевое моделирование и как его применять в рамках рассматриваемых моделей. За обстоятельным ответом на эти вопросы мы отсылаем к соответствующей литературе [2, 4] и тезисам доклада Буфалова С.А., Бухтяка М.С., Пойзнера Б.Н. в настоящем сборнике. Здесь эти понятия раскрываются с точки зрения строгой математики.
        Упомянутая схема аккумуляции выглядит следующим образом:

  1. изложение данной социально-экономической или общественно-политической задачи на языке теории нейронных сетей (здесь единого алгоритма нет, и всё определяется спецификой задачи и индивидуальностью исследователя);

  2. применение нелинейно-динамического аппарата к её переформулированному, т.е. нейросетевому варианту (алгоритм предлагается автором).

       Так как математический аппарат теории нейронных сетей, заимствовавший методы статистической физики, термодинамики, теории оптимизации и других дисциплин, не приспособлен для использования в тандеме с нелинейно-динамическими средствами описания, то на втором этапе аккумуляции традиционно возникают трудности. Для их преодоления необходим синтез этих двух подходов.
        Он видится в разработке обобщённого описания динамической системы (составляющей основу нелинейно-динамического аппарата), которое бы включало описание определённого класса нейронных сетей как частный случай. Т.к. формально и концептуально нейронные сети сводятся к понятию об обучении [5], то, по сути, остаётся дать нелинейно-динамическое описание процесса обучения. Принимая во внимание тот факт, что фазовое пространство (используемое для представления эволюции динамической системы) есть геометрическая структура [3] - пространство кокасательного расслоения, - мы не должны исключать возможности использования и геометрических конструкций при описании обучения

       //. Нейронная сеть и нелинейно-динамическое описание обучения
        Нейронные сети рассматриваемого нами класса имеют структуру каскадного соединения нескольких слоев, типичная структура которых такова [2]: 1) уровень входных нейронов; 2) уровень умножения на матрицу синаптических весов, в элементах которой записывается вся запоминаемая сетью информация; 3) уровень нелинейного преобразования и 4) уровень выходных нейронов.
        Такая структура является характерной только для нейронных сетей и выделяет их в особый класс систем перерабатывающих информацию. Будем говорить, что всякая система, которую можно определить в рамках нейросетевой структуры, является обучаемой. Т.о. перенесение понятия "обучение" на сцену нелинейной динамики состоит в нахождении такого обобщённого описания динамической системы, которое бы позволило сопоставить ей некоторую нейросетевую структуру. Контекст, сопутствующий этому обобщению, и определит нелинейно-динамическое и геометрическое содержание термина "обучение", а вместе с ним и понятия нейронной сети.

        III. Динамические системы на многообразиях
        Пусть дано п- мерное многообразие М (по сути, некоторая непрерывная совокупность точек q), тогда гладкое 2n-мерное многообразие L(M), составленное из точек (q,v), где q О M и v- вектор касательный к многообразию М в точке q, называется пространством касательного расслоения (Tangent Foliation space) [3]. Нетрудно ввести пространство кокасательного расслоения (Cotangent Foliation space), рассматривая вместо v ковектор р.
        С достаточной степенью общности поведение динамической системы можно описать с помощью лагранжиана и уравнении Эйлера-Лагранжа, определяющих эволюцию состояния системы в TF-пространстве. В случае сильно невырожденного Лагранжиана [3] существует эквивалентное описание на языке гамильтониана и уравнений Гамильтона, которые определяют изменение состояния динамической системы в CF-пространстве. В частности, фазовое пространство - CF-пространство с антисимметричной метрикой [3|.
        Метрика - математический объект [З], позволяющий ввести на многообразии понятие расстояния между двумя точками и скалярного произведения векторов. Обычно, математически она задаётся в виде матрицы (т.е. тензора второго ранга, называемого метрическим тензором).
        Пусть динамическая система описывается в TF-пространстве обобщёнными координатами qi и скоростями vi, i = 1,…, n, изменяющимися во времени согласно следующим уравнениям:


(1) .

       Упомянутое в пункте II обобщение вводится путём предположения непостоянства метрики TF-пространства. Пусть и , i, j = 1,…, n,- новые обобщённые координаты и импульсы в TF-пространстве. Тогда:

(2)

        где и , i, j = 1,…, n, - матрицы Якоби преобразования.
        По повторяющимся дважды индексам здесь и далее подразумевается суммирование.
        В связи с уравнениями (2) определим евклидову метрику в TF-пространстве, отнесённом к 2n координатам , i = 1,…, n. Введём ковариантный метрический тензор . В общем случае, когда Jq и Jv не являются ортогональными операторами, пространство не будет евклидовым. Однако его всегда можно сделать таковым, соответствующим выбором координат. Заметим, что фазовое пространство существенно неевклидово: в нём нельзя найти системы координат с евклидовой метрикой (по определению).
        Конечно-разностная форма уравнений (2) с временным квантом т приводит к итеративному процессу, на п-ом шаге которого


(3)

       Этот процесс можно представить в виде двухслойной нейронной сети с входными векторами q и v, линейными преобразованиями Jq и Jv, и нелинейными преобразованиями V(q,v,t) и Q(q,v,t) на первом и втором слоях соответственно. Т.о. всякой динамической системе (2), состояния которой эволюционируют в TF-пространстве с переменной метрикой G, в соответствие можно поставить вполне конкретную нейросетевую архитектуру {частично определяемую уравнениями (3)}, приписав тем. самым способность к обучению.
       Интересен особый случай, когда Jq и Jv - ортогональные операторы (чьи элементы не обязательно константные функции от q, v и t). При этом евклидова метрика TF-пространства остаётся неизменной в то время, как обучение всё ещё возможно. Стоит заметить, что физически может реализоваться именно этот специальный случай, т.к. уравнения фазового потока (1) инвариантны относительно группы ортогональных преобразований.

       IV. Динамика метрики TF-пространства - обучение сети
       В результате обобщённого описания, в котором изменению метрики TF-пространства сопоставляется процесс обучения, динамическая система приобретает дополнительные эволюционные степени свободы, заложенные в метрических характеристиках пространства её состояний. Пусть 2n2 уравнений

(4)

определяют алгоритм обучения нейронной сети или, что то же самое, динамику элементов матриц Jq и Jv , характеризующих метрические свойства TF-пространства. Здесь элементы векторов определяются через интегралы, содержащие в подынтегральном выражении соответственно Jq и Jv [см. (2)].
       Систему интегро-дифференциальных уравнений (4) относительно можно упростить, если сеть близка к завершению обучения. В результате получим систему обыкновенных дифференциальных уравнений

(5)

описывающую динамику синаптических весов , i, j = 1,…,n, в форме уравнений движения 2n2 связанных осцилляторов.

       V. Информационное TF-пространство
       Уравнения (4) можно интерпретировать как описание некой динамической системы эволюционирующей в евклидовом TF-пространствс размерности 2n2, которое можно назвать информационным. Его обобщёнными координатами и импульсами являются элементы соответственно матриц Jq и Jv, определяющих метрику TF-пространства исходной динамической системы (1).
       Согласно уравнениям (5) вблизи стационарной точки движение в информационном фазовом пространстве можно описать следующим образом:

 

      где - векторизованное представление соответствующих операторов , - двухиндексное один раз ко- и контравариантное представление (операторное представление) тензоров четвёртого ранга , i, j, k, s = 1,…,n, соответственно.
       Рассмотрим более компактную запись этого матричного уравнения:

(6)

       В случае, если уравнения фазового потока (1), а, следовательно, и Т, не зависят явно от времени, фиксировав начальные условия и , можно записать решение уравнения (6)в виде[1]:

       Это уравнение можно переписать в более наглядной форме:

       Уравнение (7) описывает осцилляторную динамику элементов матриц синаптических весов нейронной сети [определяемой уравнениями (3) и (4)] или, что то же самое, метрического тензора G пространства состояний динамической системы (2). Уравнение (7) хорошо соотносится с тем фактом, что активность коры головного мозга носит незатухающий колебательный характер ( a, b, g-ритмы) [6].

       VI. Заключение
       В рамках нелинейно-динамических определений и геометрических интерпретаций процесс обучения предстаёт как изменение метрических свойств TF-пространства динамической системы! Показано, что всякую нейронную сеть (алгоритм обучения которой задаётся дифференциальными уравнениями) определённой архитектуры можно представить в виде динамической системы, эволюционирующей в TF-пространстве с переменной метрикой. Вблизи стационарной точки динамика величин (синаптических весов нейронной сети), определяющих метрику, описывается системой дифференциальных уравнений для 2n2 связанных осцилляторов.
       Взаимное проникновение нейросетевых и нелинейно-динамических концепций описания происходит в результате отказа от евклидовости ТF-пространства и рассмотрения такой его характеристики, как метрика.
       Предложенный здесь путь опосредованной аккумуляции гуманитарными науками нелинейно-динамического аппарата не единственен. Более того он имеет определённые ограничения, связанные с возможностью представления социально-экономической задачи на языке нейронных сетей. Однако, если удастся это сделать, то в руках исследователя окажутся все существующие понятия и методы нелинейной динамики, теории нейронных сетей и дифференциальной геометрии. Более того уровень описательной способности социально-экономических моделей существенно возрастёт за счёт введения дополнительных степеней свободы, обусловленных нейросетевыми и геометрическими структурами.

Литература

  1. Гантмахер Ф. Р. Теория матриц. - М.: Наука. 1967. С. 575.
  2. Горбань А. Н., Россиев Д. А. Нейронные сети на персональном компьютере. -Новосибирск: Наука. 1996. С. 275.
  3. Дубровин Б. А., Новиков С. П., Фоменко А. Т. Современная геометрия: методы и приложения. - М.: Наука. 1986. С. 759.
  4. Riplev В. D. Pattern Recognition and Neural Networks - Cambridge University Press. 1996. P.416. "
  5. Mitchell Т. Machine Learning. - McGraw Hill. 1997. P. 414.
  6. Scott J. A., Fucks A. Self-organizing dynamics of the human brain: Critical instabilities and Sil'nikov chaos // Chaos. 1995. Vol. 5, № 1, P. 64 - 69.

Оглавление