В июле 1992 г. в Японии была принята Пятая Программа (действующая и поныне), связанная с созданием координационного исследовательского центра по реализации международного проекта Real World Computing Partnership (RWCP), основной целью которого являлась разработка практических методов решения реальных задач на основе гибких и перспективных информационных технологий.
В настоящее время в рамках развития этого проекта создана трансконтинентальная сеть на базе гетерогенной вычислительной среды, объединяющей Суперкомпьютерный центр в Штутгарте (Германия), Компьютерный центр в Питсбурге (шт. Пенсильвания), Электротехническую лабораторию в Тшукубе (Япония), Компьютерный центр в Манчестере (Великобритания), в которой часть пользовательских компьютеров выполнена по нейросетевой технологии. Пиковая производительность образованного сверхсуперкомпьютера составила 2.2 TFLOPS.
Считается, что теория нейронных сетей, как научное направление, впервые была обозначена в классической работе МакКаллока и Питтса[1] 1943 г., в которой утверждалось, что, в принципе, любую арифметическую или логическую функцию можно реализовать с помощью простой нейронной сети. В 1958 г. Фрэнк Розенблатт [2] придумал нейронную сеть, названную перцептроном, и построил первый нейрокомпьютер Марк‑1. Перцептрон был предназначен для классификации объектов. На этапе обучения «учитель» сообщает перцептрону к какому классу принадлежит предъявленный объект. Обученный перцептрон способен классифицировать объекты, в том числе не использовавшиеся при обучении, делая при этом очень мало ошибок. Примерно в это же время вышла работа Минского и Пейперта[3], указавшая ограниченные возможности простейшего перцептрона. Результаты Минского и Пейперта погасили энтузиазм большинства исследователей, особенно тех, кто работал в области вычислительных наук.
С начала 80‑х годов ИНС вновь привлекли интерес исследователей, что связано с энергетическим подходом Хопфилда[4] и алгоритмом обратного распространения для обучения многослойного перцептрона (многослойные сети прямого распространения), впервые предложенного Вербосом[5]. При этом важную роль сыграли работы группы PDP (Parallel Distributed Processing). В них рассматривались нейронные сети, названные многослойными перцептронами, которые оказались весьма эффективными для решения задач распознавания, управления и предсказания. (Многослойные перцептроны занимают ведущее положение, как по разнообразию возможностей использования, так и по количеству успешно решенных прикладных задач.)
1.3 Современный нейрокомпьютер
Сейчас количество проданных в странах Запада нейрокомпьютеров исчисляется десятками тысяч. В основном это нейрокомпьютерные программы для ПЭВМ, предназначенные для решения задач аппроксимации и прогнозирования числовых данных. Около 5% нейрокомпьютеров относятся к устройствам профессионального уровня, ориентированным на применение мощных рабочихстанций и аппаратных нейроакселераторов. Программное обеспечение таких систем обычно содержит библиотеки нейропарадигм, что позволяет при решении задач использовать различные типы нейронных сетей. Типичным примером может служить система BrainMaker фирмы CSS (США), получившая в 1990 г. приз журнала PC Magazine «Лучший программный продукт года». Система может работать на любом компьютере, на котором установлен Windows. Базовая версия (цена 950 долларов) ориентирована на широкий круг пользователей. Ее применение не требует специальных знаний. Настройка сети ограничена установкой нескольких параметров, главным среди которых является допустимая погрешность ответа. Основная работа состоит в подготовке данных для обучения, которые можно импортировать из файлов формата *.DBF, *.TXT, Excel, Lotus 1–2–3. При удачном подборе примеров система дает 95% правильных ответов.
Для расширения возможностей системы служит набор дополнительных программ Toolkit Option, позволяющих ускорить процесс обучения и улучшить представление графических данных. Для профессиональных пользователей выпускается расширенная версия BrainMaker Professional, позволяющая моделировать сети с числом нейронов до 8192 (допускается расширение до 37767), цена которой составляет 1550 долларов. Для этой версии создан набор дополнительных программных средств, которые включают Genetic Training Option – программу оптимизации, использующую «генетические» алгоритмы, и Training Finansial Data – специальные наборы данных для настройки нейронной сети на коммерческие приложения.
Наконец, для наиболее крупных приложений выпущен BrainMaker Accelerator – специализированная нейроплата – акселератор на базе сигнального процессора TMS320C25 фирмы Texas Ins., позволяющая в несколько раз повысить производительность нейрообработки данных. Еще более мощная версия аппаратного расширителя BrainMaker Accelerator Pro, содержащая пять процессоровTMS320C25 и до 32 Мбайт оперативной памяти, позволяет ускорить процесс обучения в сорок раз по сравнению с компьютером PC 486DX‑50.
Алгоритм, заданный нейронной сетью, может быть интерпретирован обычной универсальной вычислительной машиной, либо некоторым специализированным устройством [5].
Построение вычислительных систем, интерпретирующих нейросетевые алгоритмы, осуществляется сейчас на традиционной элементной базе. Однако весьма многообещающей выглядит потенциальная возможность реализации базисной операции (вычисления скалярного произведения) в физической среде-носителе сигнала. Прежде всего, это касается операции суммирования в электромагнитном поле, хотя в живых организмах существуют и иные примеры, в частности, суммирования на биохимическом уровне. Реализация скалярного произведения за счет суммирования электромагнитного поля (включая оптический диапазон) может привести к тому, что время срабатывания элемента, вычисляющего скалярное произведение, будет исключительно малым, сравнимым со временем прохождения светом линейного размера элемента.
Одним из первых коммерчески доступных нейрочипов был Micro Devices MD1220 (1990 год) [6]. Этот кристалл интерпретирует 8 нейронов и 8 связей с 16‑ти разрядными, хранящимися во внутрикристальной памяти, весами и одноразрядными входами. Входы имеют одноразрядные последовательные умножители. Сумматоры в кристалле также 16‑разрядные. Из этих нейрочипов путём их каскадирования могут быть построены нейрокомпьютеры.
Фирма Neuralogix производит нейрочип NLX – 420 с 16‑ти процессорными элементами, каждый из которых имеет 32‑х разрядный сумматор [7].
Фирма Hitachi выпустила Wafer Scale Integration – многокристальные полупроводниковые пластины [8]. На пластине размещается сеть Хопфилда с 576 нейронами, каждый из которых имеет 64 восьмиразрядных весовых коэффициента. Сеть Хопфилда функционирует как ассоциативная память. При подаче на входы частичной или ошибочной входной последовательности сеть через какое-то время переходит в одно из устойчивых состояний, предусмотренных при её конструировании. При этом на входах сети появляется последовательность, признаваемая сетью как наиболее близкая к одной из изначально поданных.
Помимо цифровых, бывают нейрочипы аналоговые и гибридные. Аналоговые элементы меньше и проще цифровых. Однако обеспечение необходимой точности требует тщательного проектирования и изготовления. Пример аналогового нейрочипа – Intel 80170NW ETANN. Этот кристалл содержит 64 нейрона и два банка 64x80 весов [9]. Гибридные нейрочипы используют комбинацию аналогового и цифрового подходов. Например, входы могут быть аналоговыми, веса загружаться как цифровые и выходы быть цифровыми. Чип CLNN‑32 фирмы Bellcore содержит 32 нейрона. Входы, выходы и внутренняя обработка – аналоговые, а 5‑ти разрядные веса цифровые [10].
В качестве нейропроцессоров иногда используются также сигнальные микропроцессоры. Разработанный в НТЦ «Модуль» российский нейпроцессор NM6403 (Neuro Matrix) имеет скалярное RISC‑ядро для выполнения логических операций, целочисленных арифметических операций, операций сдвига и формирования адресов для обращения в память, а также векторный процессор VP для обработки двоичных векторов произвольной разрядности в пределах 1–64 битов [11]. При этом в одном такте VP может выполнять операции над несколькими векторами, вплоть до 64, суммарная длина которых не превышает 64. Скалярный процессор выполняет всю подготовку данных для работы векторного процессора. Нейропроцессор NM6403 имеет два встроенных линка, совместимых по логическому и физическому протоколам с линками сигнального микропроцессора TMS 320 C4X.
Один из путей повышения производительности ВС – применение параллельных неалгоритмических вычислений, основанных на непрерывной (аналоговой) форме представления (НФП) обрабатываемых математических величин:
Хмаш(tm)=mxXm(mtt),
Где Хмин, tm – машинные величины зависимой переменной и ее аргумента;
mх, mt – массштабы переменной Х и аргумента t.
НФП – это представление каждого мгновенного значения математической величины пропорциональным ему мгновенным значением машинной переменной. Погрешность D НФП определяется классом точности изготовления и стабильностью электрических элементов и электронных компонентов, с помощью которых реализуются машинные переменные, и проявляется при обратном преобразовании машинных величин в искомые математические величины:
XM(t)=(1/mX) Xмаш (tM/mt)+ D/mX,
Где D – абсолютная погрешность вычислений.
НФП позволяет реализовать неалгоритмический принцип вычислений (НПВ) путем ввода в машину и реализации решения задачи в общепринятой аналитической форме ее описания. Аналитический принцип обработки информации состоит в том, что каждой аналитической завимости между математическими переменными исходной задачи (интегродифференциальной, алгебраической, тригонометрической и т.п.) в машине соответствуют аналогичное (подобное) аналитическое описание связи между машинными переменными. Это достигается методом моделирования на основе теории подобия.