Нейронные сети встречного распространения.

Нейронные сети встречного распространения.

      В отличии от сети с обратным распространением ошибки рассматриваемые сети предназначены для начального быстрого моделирования. Автор сети встречного расп­ространения ошибки (ВР) Р. Хехт-Нильсен [1] удачно объединил в одной архитектуре преимущества возможности обобщения сети Т. Кохонена [2] и простоту обучения вы­ходной звезды Д. Гроссберга [3], вследствие чего сеть ВР получила свойства, которых нет ни у одной из них в отдельности. Она принадлежит к классу сетей, обучающихся без учителя.

        Сеть ВР работает с двоичными векторами, состоящими из нулей и единиц, или не­прерывными. В результате обучения входные векторы ассоциируются с выходными и, когда сеть обучена, подача входных образов приводит к получению выходных. Прави­льный выход может быть получен и тогда, когда вход является неполным, несколько неверным. Гиперповерхность, получаемая в результате функционирования сети ВР, вследствие принципа непрерывности, дает возможность осуществлять прогнозирова­ние. Естественно, что внутри гиперпараллелепипеда обучающих образов прогнозиро­вание будет более точным, а при решении задачи экстраполяции ошибка будет значи­тельно больше.

 Рис. 1. Сеть встречного распространения ошибки

        Подобно другим сетям сеть ВР работает в двух режимах: обучения и использова­ния. В первом случае на входы подаем и вектор  и вектор , корректируем весовые коэффициенты; во втором режиме на вход уже обученной сети подаем  или , а с выхода снимаем и ,и .

        Общий метод функционирования сети: на вход подаем первый образ , в каждом нейроне слоя Кохонена рассчитывается активация . Только на выходе одного нейрона будет единица, а именно  Очевидно, что веса инцидентные выигравшему нейрону максимально близки к компо­нентам входного вектора. Следующим шагом есть коррекция весовых коэффициентов, ребра которых инцидентны выигравшему нейрону. Слой Гроссберга функционирует подобно слою Кохонена. Активация нейронов его слоя . На выходе нейронов слоя Гроссберга будут веса, инцидентные “выигравшему” нейрону слоя Ко­хонена . Дальше корректируем веса, инцидентные этому нейрону и подаем на вход сети следующий образ. В результате многократного выполнения указанной процедуры весовые коэффициенты слоя Гроссберга должны совпадать или быть доста­точно близкими к входным образам. Но все оказывается не так просто. Рассмотрим ню­ансы функционирования сети ВР в следующем алгоритме.

Алгоритм функционирования сети встречного распространения

    Напомним, что исходные данные представлены в табл. 1 и один входной образ соот­ветствует одной строке этой таблицы. 

Таблица 1

Шаг 1. Нормируем каждый элемент таблицы, так, например, нормированный аналог второго элемента первой строки рассчитываем по формуле

,

и заменяем в табл. 1 каждый элемент на его нормированный аналог.

Шаг 2. Генерируем случайным образом весовые коэффициенты и обязательно их нор­мализуем, тем самым сокращая процесс обучения. Здесь существует много нюансов, о них можно прочитать в книге Уоссермена, а также частично см. замечание.

Шаг 3. Подаем на вход сети строку матрицы  и рассчитываем скалярные произведе­ния с векторами весов, которые связаны со всеми нейронами Кохонена.

Шаг 4. Среди всех скалярных произведений выбираем наибольшее и подстраиваем веса соответствующего нейрона согласно выражения , где - предыдущее значение веса, - его новое значение, - коэффициент обучения, вна­чале примерно равный 0,7 и постепенно уменьшающийся в процессе обучения. Выход “выигравшего” нейрона равен единице, всех остальных равен нулю.

Шаг 5. Выходной вектор слоя Кохонена подается на слой нейронов Гроссберга. В каж­дом нейроне слоя Гроссберга обычным образом рассчитывается активация

Шаг 6. Корректируем все веса слоя Гроссберга в соответствии с выражением:

                                     ,                                             

где  - -ая компонента реального вектора выхода,  - старое значение весового ко­эффициента слоя Гроссберга, - новое значение, 

Замечания

       Некоторой оптимизацией предложенного алгоритма есть использование метода выпуклой комбинации, в одном из вариантов которого предлагается приравнять все ве­совые коэффициенты одной и той же величине . Кроме того, приравнять каж­дую компоненту входного вектора :  . В начале обучения  и входные векторы совпадают с весовыми коэффициентами. В процессе обучения  воз­растает, постепенно приближаясь к единице. Этот метод приводит к правильному расп­ределению входных векторов и является достаточно эффективным.

     В другом подходе предлагается к истинным значениям входного вектора прибавлять шум (смещение).

     В третьем подходе подстраивают все весовые коэффициенты, а не только “выигравшего” нейрона.

      Возможен и такой вариант: если один из нейронов слоя Кохонена чаще становится победителем, чем другие, порог его срабатывания увеличивается

       Все методы, рассмотренные выше относятся к функционированию сети в режиме аккредитации. Сеть встречного распространения может функционировать также в ре­жиме интерполяции. Такой вариант соответствует тому, что подстраиваются весовые коэффициенты нескольких нейронов, имеющих наибольшую активацию. При этом вы­ходы нейронов слоя Кохонена необходимо нормировать, используя, например, функ­цию SOFTMAX (см. книгу Уоссермена). Тогда значения выходов этих нейронов будут интерпретироваться как вероятности принадлежности входного вектора тому или иному классу. 

       Сеть встречного распространения рекомендуется для предварительного прогнози­рования (для этого достаточно на входы обученной сети подать только вектор и по­лучить на выходе и , и . По сравнению с сетью с обратным распространением ошибки сеть ВР обучается значительно быстрее, но точность результата меньше.

1.      Hecht-Nielsen R. 1987a. Counterpropagation networks. In Proceedings of the IEEE First International Conference on Neural Networks, eds. M. Caudill and C. Butler, vol. 2, pp. 19-32. San Diego, CA: SOS Printing.

2.      Kohonen T. 1984. Self-organization and associative memory. Series in Information Sciences, vol. 8. Berlin: Springer Verlag.

3.      Qrossberg S. 1969. Some networks that can learn, remember and reproduce any number of complicated space-time patterns. Journal of Mathematics and Mechanics, 19:53-91.