Нейронные сети 4 (стр. 3 из 3)

Для скрытых элементов множитель определяется так:

где индекс h пробегает номера всех нейронов, на которые воздействует i-ый нейрон.

7. Организация процесса обучения

Из теоремы об отображении практически любой функции с помощью многослойной нейросети следует, что обучаемая нами нейронная сеть в принципе способна сама подстроиться под любые данные с целью минимизации суммарной квадратичной ошибки. Чтобы этого не происходило, при обучении нейросетей используют следующий способ проверки сети. Для этого обучающую выборку еще перед началом обучения разбивают случайным образом на две подвыборки: обучающую и тестовую. Обучающую выборку используют собственно для процесса обучения, при этом изменяются веса нейронов. А тестовую используют в процессе обучения для проверки на ней суммарной квадратичной ошибки, но при этом не происходит изменение весов. Если нейросеть показывает улучшение аппроксимации и на обучающей, и на тестовой выборках, то обучение сети происходит в правильном направлении. Иначе может снижаться ошибка на обучающей выборке, но происходит ее увеличение на тестовой. Последнее означает, что сеть "переобучилась" и уже не может быть использована для прогнозирования или классификации. В этом случае немного изменяются веса нейронов, чтобы вывести сеть из окрестности локального минимума ошибки.

Литература:

1. Мак-Каллок У.С., Питтс У. Логическое исчисление идей, относящихся к нервной активности // Автоматы, под ред. Шеннона К.Э. и Маккарти Дж. М.: ИЛ, 2003. С. 362 - 384.

2. Минский М., Пейперт С. Перцептроны./ Минский М. Мир, 2001. 234 с.

3. Розенблат Ф. Принципы нейродинамики. Перцептроны и теория механизмов мозга. Мир, 2004, 248 с.

4. С. Короткий, "Нейронные сети: Алгоритм обратного распространения". СПб, 2002, 328 с.

5. С. Короткий,"Нейронные сети: Основные положения. СПб, 2002. 357 с.

6. Фомин С.В., Беркенблит М.Б. Математические проблемы в биологии. М.: Наука, 2004, 200 с.

7. Фон Нейман Дж. Вероятностная логика и синтез надежных организмов из ненадежных компонент. // Автоматы, под ред. Шеннона К.Э. и Маккарти Дж. М.: ИЛ, 2003, С. 68 - 139.

8. Фон Нейман Дж. Теория самовоспроизводящихся автоматов. М.: Мир, 2001, 382 с.

9. Фролов А.А., Муравьев И.П. Информационные характеристики нейронных сетей. М.: Наука, 2005, 160 с.

10. Фролов А.А., Муравьев И.П. Нейронные модели ассоциативной памяти. М.: Наука, 2004, 160 с.