Исследование возможности применения искусственных нейронных сетей для автоматического управления (стр. 12 из 21)

Число контекстных нейронов входного слоя равняется общему числу нейронов промежуточного и выходного слоев. Тогда:

где p - число нейронов выходного слоя.

Рециркуляционные нейронные сети

Рециркуляционные сети характеризуются как прямым У = f(X), так и обратным Х = f (У) преобразованием информации. Задача такого преобразования - достижение наилучшего автопрогноза или самовоспроизводимости вектора Х. Рециркуляционные нейронные сети применяются для сжатия (прямое преобразование) и восстановления исходной (обратное преобразование) информации. Такие сети являются самоорганизующимися в процессе работы, где обучение производится без учителя. Они были предложены в 1988 г. Теоретической основой рециркуляционных нейронных сетей служит анализ главных компонент (principalcomponentanalysis). Этот метод применяется в статистике для сжатия информации без существенных потерь её информативности. Он состоит в линейном ортогональном преобразовании входного вектора X размерности n в выходной вектор Y размерности p, где p< n. При этом компоненты вектора Y являются некоррелированными ,и общая дисперсия после преобразования остаётся неизменной.

Рециркуляционная нейронная сеть представляет собой совокупность двух слоев нейронных элементов, которые соединены между собой двунаправленными связями (рис. 5.8).

Каждый из слоев нейронных элементов может использоваться в качестве входного или выходного. Если слой нейронных элементов служит в качестве входного, то он выполняет распределительные функции.

В противном случае нейронные элементы слоя являются обрабатывающими. Весовые коэффициенты, соответствующие прямым и обратным связям, характеризуются матрицей весовых коэффициентов W и W'. Для наглядности рециркуляционную сеть можно представить в развернутом виде, как показано на рис. 5.9.

Такое представление сети является эквивалентным и характеризует полный цикл преобразования информации. При этом промежуточный слой нейронных элементов производит кодирование (сжатие) входных данных X, а последний слой - восстановление сжатой информации Y. Слой нейронной сети, соответствующий матрице связи W, назовем прямым, а соответствующий матрице связей W' - обратным.

Рециркуляционная сеть предназначена для сжатия данных и восстановления сжатой информации. Сжатие данных осуществляется при прямом преобразовании информации в соответствии с выражением

Y=F(W^TX)(5.2.5.)

Восстановление или реконструкция данных происходит при обратном преобразовании информации:

X=F(W'Y)(5.2.6.)

В качестве функции активации нейронных элементов F может использоваться как линейная, так и нелинейная функции. При использовании линейной функции активации.Релаксационные нейронные сети

Релаксационные нейронные сети характеризуются прямым и обратным распространением информации между слоями сети. В основе функционирования таких сетей лежит итеративный принцип работы. Он заключается в том, что на каждой итерации происходит обработка данных, полученных на предыдущем шаге. Такая циркуляция происходит до тех пор, пока не установится состояние равновесия. При этом состояния нейронных элементов перестают изменяться и характеризуются стационарными значениями. Для анализа устойчивости релаксационных нейронных сетей используются функции Ляпунова. Такие сети применяются в качестве ассоциативной памяти и для решения комбинаторных задач оптимизации. К релаксационным относятся нейронные сети Хопфилда, Хемминга, двунаправленная ассоциативная память и машина Больцмана.

В 1982 г. американский биофизик Д. Хопфилд (Hopfield) представил математический анализ релаксационных сетей с обратными связями. В основе анализа лежит теория изинговых спинов, которая используется для изучения ферромагнетиков при низких температурах. Поэтому такие нейронные сети получили название сетей Хопфилда.

Нейронная сеть Хопфилда характеризуется обратными связями. В ней каждый нейрон имеет синаптические связи со всеми остальными нейронами сети.

Архитектуру такой сети представим в виде двух слоёв нейронных элементов (рис. 5.10).

При этом первый слой является распределительным, а второй слой нейронных элементов осуществляет нелинейное преобразование взвешенной суммы:

где y_i(t+1) – выходное значение i-го нейронного элемента в момент времени t+1; F– оператор нелинейного преобразования; T_i – пороговое значение i-го нейрона.

В матричной форме модель Хопфилда можно представить как:

Y(t+1)=F (S(t)); S(t)=W^TY(t)-T (5.2.8.)

При этом используемые векторы имеют вид:

S=[S₁, S₂,…,S_n]^T; Y=[y₁, y₂,…,y_n]^T; T=[T₁, T₂,…,T_n]^T;

(5.2.9.)

В качестве матрицы весовых коэффициентов Хопфилд использовал симметричную матрицу (w_ij=w_ji) с нулевой главной диагональю (w_ii=0). Последнее условие соответствует отсутствию обратной связи нейронного элемента на себя. В качестве функции активации нейронных элементов F может служит как пороговая, и непрерывная функции, например сигмоидная или гиперболический тангенс.

Сеть Хопфилда может использоваться в качестве ассоциативной памяти. В этом случая она способна распознавать зашумлённые или искажённые образы. Для обучения нейронной сети Хопфилда используется правило Хебба.

В 1987 г. Р. Липпманом (Lippman) была предложена нейронная сеть Хэмминга (HammingNetwork). Она представляет собой релаксационную, многослойную нейронную сеть с обратными связями между отдельными слоями. Сеть Хэмминга применяется в качестве ассоциативной памяти. При распознавании образов она использует в качестве меры близости расстояние Хэмминга. Весовые коэффициенты и пороги сети Хэмминга определяются из условия задачи, поэтому такая сеть является нейронной сетью с фиксированными связями.

Сеть Хэмминга является многослойной, состоящей из различных классов нейронных сетей. Пусть имеется m образов, каждый из которых имеет размерность n:

Тогда нейронная сеть Хэмминга будет состоять из сети с прямыми связями, сети Хопфилда и слоя выходных нейронов (рис. 5.11).

Сеть с прямыми связями состоит из n входных распределительных и m выходных нейронных элементов. Она вычисляет меру подобия между входными и эталонными образами, хранящимися в ней. В качестве меры подобия используется число одинаковых разрядов между входным и эталонным образом.

Сеть Хопфилда используется для разрешения возникающих конфликтов, когда входной паттерн является подобным нескольким эталонным образам, хранящимся в сети. При этом на выходе сети остаётся активным только один нейрон-победитель.

Выходной слой нейронной сети состоит из mнейронов, каждый из которых имеет пороговую функцию активации. Он предназначен для преобразования выходной активности нейрона-победителя сети Хэмминга в единичное значение. При этом значения всех остальных нейронов выходного слоя устанавливаются в нулевое состояние. Таким образом, происходит идентификация входного паттерна, который кодируется номером нейрона выходного слоя, имеющим единичное значение. Если входной образ не совпадает с эталонным, то на выходе сети Хэмминга будет формироваться такой эталонный паттерн, который имеет минимальное расстояние Хэмминга по отношению к выходному образу.

В 1988 г. Б. Коско предложил дальнейшее развитие сети Хопфилда – двунаправленную ассоциативную память, представляющей собой релаксационную сеть с циркуляцией информации.

Двунаправленная ассоциативная память состоит из двух слоёв нейронных элементов. Нейроны каждого из слоёв могут быть как входными, так и выходными. Архитектура двунаправленной ассоциативной памяти аналогична рециркуляционной нейронной сети (рис. 5.8). Однако принципы функционирования таких сетей разные.

4.2.3.2 Саморганизующиеся нейронные сети

Самоорганизующиеся нейронные сети (self-organisingnetworks) характеризуются обучением без учителя, в результате которого происходит адаптация сети к решаемой задаче. К таким сетям относятся нейронные сети Кохонена, адаптивного резонанса и рециркуляционные сети (см. п. 5.2.3.1). В каждой из этих сетей самоорганизация происходит в результате различных механизмов обучения. Наиболее известными среди самоорганизующихся нейронных сетей являются сети, которые разработал в 80-х годах финский ученый Т.Кохонен (Kohonen). Нейронные сети Кохонена осуществляют топологическое упорядочивание входного пространства паттернов. Они широко применяются в задачах распознавания образов, оптимизации и управления.

Самоорганизующиеся нейронные сети используются для решения различных задач: кластеризации, векторного квантования, сокращения размерности входного пространства, выделения характерных признаков и т.д. При кластеризации входные образы группируются в кластеры, причем каждому кластеру ставится в соответствие отдельный нейрон. Векторное квантование применяется для сжатия данных. Для обучения самоорганизующихся нейронных сетей используется конкурентный метод, который был предложен в 1976 г. С. Гроссбергом (S. Grossberg) и затем развит в работах финского ученого Т. Кохонена (Т. Kohonen).

Сети адаптивного резонанса

Нейронные сети адаптивного резонанса были предложены С. Гроссбергом (S.Grossberg) в 1976 г. Они основываются на теории адаптивного резонанса (AdaptiveResonanceTheory). В соответствии с ней такие нейронные сети называются ART-сетями. Резонанс в них происходит при идентификации какого-либо события или образа. В процессе функционирования ART-сетей в них происходит циркуляция информации до тех пор, пока не наступит состояния резонанса. Нейронные сети адаптивного резонанса обучаются без учителя и характеризуются самоорганизацией в процессе работы. Они могут использоваться для распознавания образов, обработки речевых сигналов и в задачах управления.