Нейронные сети высокого порядка (НСВП) отличаются от МНС тем, что у них только один слой, но на входы нейронов поступают так же термы высокого порядка, являющиеся произведением двух или более компонент входного вектора [1]. Такие сети так же могут формировать сложные разделяющие поверхности.
В [12] показано применение НСВП строго третьего порядка для распознавания изображений лиц, имеющих произвольные масштабы и двумерные повороты. Приведены методы обучения таких сетей. Особенность такой сети заключаются в том, что для обучения некоторому классу достаточно предъявить его образ без вариаций масштабов и поворотов – после обучения сеть будет распознавать известные классы инвариантно к масштабу и поворотам. Такая сеть не является полносвязной, быстро обучается и работает. Отмечено существенное повышение точности классификации такой сетью повёрнутых и масштабированных изображений по сравнению с МНС.
НС Хопфилда (НСХ) является однослойной и полносвязной (связи нейронов на самих себя отсутствуют), её выходы связаны со входами. В отличие от МНС, НСХ является релаксационной – т.е. будучи установленной в начальное состояние, функционирует до тех пор, пока не достигнет стабильного состояния, которое и будет являться её выходным значением. НСХ применяются в качестве ассоциативной памяти и для решения оптимизационных задач. В первом случае НСХ обучается без учителя (например, по правилу Хебба), во втором случае веса между нейронами изначально кодируют решаемую задачу. НСХ бывают синхронными, когда одновременно пересчитываются все нейроны и асинхронными, когда пересчитывается случайно выбранный нейрон. Для исследования динамики функционирования НСХ используются методы Ляпунова. Показано [1], что асинхронная НСХ всегда сходится к устойчивым точкам, а аттракторами синхронной НСХ являются устойчивые стационарные точки и предельные циклы длины два. Таким образом НСХ из начального состояния сходится к ближайшему локальному минимуму энергии сети, состояние нейронов в котором и будет восстановленным образом для задач распознавания, и решением – для оптимизационных задач. Для поиска глобального минимума применительно к оптимизационным задачам используют стохастические модификации НСХ [1].
Применение НСХ в качестве ассоциативной памяти позволяет точно восстанавливать образы, которым сеть обучена, при подаче на вход искажённого образа. При этом сеть “вспомнит” наиболее близкий (в смысле локального минимума энергии) образ, и таким образом распознает его. Такое функционирование так же можно представить как последовательное применение автоассоциативной памяти, описанной выше. В отличие от автоассоциативной памяти НСХ идеально точно восстановит образ. Для избежания интерференционных минимумов и повышения ёмкости сети используют различные методы [1,13]. В работе [13] описано применение НСХ, где распознаваемое изображение лица сначала подавалось на НСХ, выход которой затем сравнивался с хранимыми изображениями. Отмечено, что предварительная обработка входного изображения при помощи НСХ существенно повышает точность распознавания.
Применение НСХ в качестве оптимизационного метода для восстановления пространственной формы лица по двумерному полутоновому изображению (а так же для детектирования граней) описано в [14]. Здесь используется вариация НСХ – ячеистая нейронная сеть (ЯНС), в которой нейроны связаны только с ближайшими соседями из двумерной области. Матрица связей одинакова для всех нейронов и определяется характером задачи. Отмечаются хорошие результаты восстановления трёхмерной формы (в частности для изображений лиц) и высокая скорость работы.
Самоорганизующиеся нейронные сети Кохонена (СНСК) обеспечивают топологическое упорядочивание входного пространства образов. Они позволяют топологически непрерывно отображать входное n-мерное пространство в выходное m-мерное, m<<n. Входной образ проецируется на некоторую позицию в сети, кодируемую как положение активированного узла. В отличие от большинства других методов классификации и кластеризации, топологическое упорядочивание классов сохраняет на выходе подобие во входных образах [2,10], что является особенно полезным при классификации данных, имеющих большое количество классов. Например, при классификации локальных участков изображений, может быть очень большое число классов, в которых переход от одного класса к другому практически непрерывен, затрудняя определение границ классов. Сети такого типа состоят из одного слоя (не считая входного), который так же может быть организован в n-мерную решётку, в зависимости от размерности выходного пространства. Каждый нейрон связан со всеми входными нейронами. Настройка весов сети осуществляется методом конкурентного обучения, в процессе которого изменяются только веса нейрона-победителя, имеющего максимальную активность. Существует так же метод, в котором изменяются и веса нейронов, соседних с победителем. В самоорганизующихся картах Кохонена (СКК), в отличие от векторных квантователей, нейроны решётки имеют связи с соседними нейронами, сила связей зависит от расстояния между ними. Для СНСК характерна высокая скорость обучения.
В [10] трёхмерная СКК (по 5 узлов на каждое измерение) применялась для уменьшения размерности локальных участков изображения 5х5 (размерность 25). Входное изображение отображается на один из 125 узлов, положение которого в трёхмерной решётке кодирует вектор выходного пространства. Три измерения СКК принимаются за три ключевых характеристики (features [10]). Такое преобразование обеспечило частичную устойчивость к изменению освещения, смещениям и искажениям, избавило от необходимости предварительной обработки изображения (преимущество – ускорение работы), а так же значительно ускорило процесс обучения и классификации, делая эту систему применимой в реальном времени (использовалась для распознавания лиц). Отмечено так же небольшое преимущество СКК перед методом анализа главных компонент, которое заключалось в более высокой точности последующей классификации на основе данных уменьшенной размерности.
Нейронная сеть с радиально-базисной функцией (НСРБФ) является дальнейшим развитием НС Кохонена, в которой после конкурентного слоя добавлен ещё один слой, обучаемый по методу обратного распространения. В отличие от НС Кохонена в НСРБФ выходами нейронов конкурентного слоя являются значения функции Гаусса с нормальным законом распределения, и обнуление не победивших нейронов не требуется. Ширина радиально-базисной функции характеризует расстояние между центром кластера, который образуется каждым нейронным элементом и его ближайшими соседями.
В [9] применялись две различные архитектуры НСРБФ для распознавания лиц. На вход сети поступали предварительно извлечённые характеристики, полученные методом анализа главных компонент или коэффициенты вэйвлетных преобразований. В первой архитектуре количество выходов соответствовало количеству классов, во второй применялся коллектив сетей, каждая из которых была обучена распознавать только свой класс. Отмечены значительные преимущества классификации НСРБФ перед непосредственным сравнением ключевых характеристик.
В [15] применялись две различные архитектуры ансамблей НСРБФ для предварительной классификации изображений. На вход сети поступало изображение целиком, на выходах формировалась промежуточная классификация, которая затем подавалась на решающие деревья для контекстно-ориентированного распознавания изображений лиц (например: “найти все изображения определённого человека, где он в очках”). Различные сети в ансамблях первой архитектуры учились классифицировать изображения с различными типами изменений, второй – с одинаковыми, но количество нейронов менялось в процессе обучения. Решающий вывод делал “судья”, который принимал решение на основе голосования ансамбля сетей.