[ссылки] [литература] [проекты] [программы] [методические указания] [монографии и статьи] [вопросы и ответы] [школы] [учебники] [новости]
ENG  |   Карта сайта
Информация
Проект преследует цель популяризации идей применения природных механизмов функционирования для решения задач прогнозирования, оптимизации и поддержки принятия решений

Cписок рассылки
Открыть в новом окне

  1. Введение
  2. Генетические алгоритмы (1)
  3. Генетические алгоритмы (2)
  4. Генетические алгоритмы (3)
  5. Тренды
  6. Полиномиальные тренды
  7. Тригонометрические тренды
  8. Нейронные сети
  9. Метод наименьших квадратов
  10. Метод обратного распространения ошибки
  11. Множественная линейная модель
  12. Нестандартный выпуск. Анкета
  13. МЛМ. Пример расчета
  14. RBF-сеть
  15. Сеть встречного распространения
  16. Первая интерполяционная формула Ньютона
  17. МГУА (1)
  18. Вторая интерполяционная формула Ньютона
  19. Метод Брандона
  20. МГУА (2)
  21. Интерполяционные формулы Гаусса
  22. Интерполяционные формулы Стирлинга и Лагранжа
  23. МГУА (3)
  24. МГУА (4)
  25. Предварительная обработка данных (1)
  26. Предварительная обработка данных (2)
  27. Предварительная обработка данных (3)
  28. Box-counting
  29. Гетероскедастичность
  30. Введение в нечеткую логику
  31. Обобщённый метод наименьших квадратов
  32. Прогнозирование с помощью функций с гибкой структурой
  33. Автокорреляция
  34. Дистрибутивно-лаговые модели (1)
  35. Дистрибутивно-лаговые модели (2)
  36. Дистрибутивно-лаговые модели (3)
  37. Моделирование данных при помощи кривых для восстановления пробелов в таблицах (1)
  38. Нестандартный выпуск. Анонс книги Цейтлина Н.А."Опыт аналитического статистика"
  39. Алгоритм ZET
  40. Алгоритм ZetBraid
  41. Метод эволюционной кластеризации
  42. Эволюционный метод восстановления пропусков в данных
  43. Алгоритмы кластеризации класса FOREL

Нейронные сети встречного распространения.

Нейронные сети встречного распространения.

 

      В отличии от сети с обратным распространением ошибки рассматриваемые сети предназначены для начального быстрого моделирования. Автор сети встречного расп­ространения ошибки (ВР) Р. Хехт-Нильсен [1] удачно объединил в одной архитектуре преимущества возможности обобщения сети Т. Кохонена [2] и простоту обучения вы­ходной звезды Д. Гроссберга [3], вследствие чего сеть ВР получила свойства, которых нет ни у одной из них в отдельности. Она принадлежит к классу сетей, обучающихся без учителя.

        Сеть ВР работает с двоичными векторами, состоящими из нулей и единиц, или не­прерывными. В результате обучения входные векторы ассоциируются с выходными и, когда сеть обучена, подача входных образов приводит к получению выходных. Прави­льный выход может быть получен и тогда, когда вход является неполным, несколько неверным. Гиперповерхность, получаемая в результате функционирования сети ВР, вследствие принципа непрерывности, дает возможность осуществлять прогнозирова­ние. Естественно, что внутри гиперпараллелепипеда обучающих образов прогнозиро­вание будет более точным, а при решении задачи экстраполяции ошибка будет значи­тельно больше.

 

 Рис. 1. Сеть встречного распространения ошибки

 

        Подобно другим сетям сеть ВР работает в двух режимах: обучения и использова­ния. В первом случае на входы подаем и вектор  и вектор , корректируем весовые коэффициенты; во втором режиме на вход уже обученной сети подаем  или , а с выхода снимаем и .

        Общий метод функционирования сети: на вход подаем первый образ , в каждом нейроне слоя Кохонена рассчитывается активация . Только на выходе одного нейрона будет единица, а именно  Очевидно, что веса инцидентные выигравшему нейрону максимально близки к компо­нентам входного вектора. Следующим шагом есть коррекция весовых коэффициентов, ребра которых инцидентны выигравшему нейрону. Слой Гроссберга функционирует подобно слою Кохонена. Активация нейронов его слоя . На выходе нейронов слоя Гроссберга будут веса, инцидентные “выигравшему” нейрону слоя Ко­хонена . Дальше корректируем веса, инцидентные этому нейрону и подаем на вход сети следующий образ. В результате многократного выполнения указанной процедуры весовые коэффициенты слоя Гроссберга должны совпадать или быть доста­точно близкими к входным образам. Но все оказывается не так просто. Рассмотрим ню­ансы функционирования сети ВР в следующем алгоритме.

 

Алгоритм функционирования сети встречного распространения

    Напомним, что исходные данные представлены в табл. 1 и один входной образ соот­ветствует одной строке этой таблицы. 

Таблица 1

Шаг 1. Нормируем каждый элемент таблицы, так, например, нормированный аналог второго элемента первой строки рассчитываем по формуле

,

и заменяем в табл. 1 каждый элемент на его нормированный аналог.

Шаг 2. Генерируем случайным образом весовые коэффициенты и обязательно их нор­мализуем, тем самым сокращая процесс обучения. Здесь существует много нюансов, о них можно прочитать в книге Уоссермена, а также частично см. замечание.

Шаг 3. Подаем на вход сети строку матрицы  и рассчитываем скалярные произведе­ния с векторами весов, которые связаны со всеми нейронами Кохонена.

Шаг 4. Среди всех скалярных произведений выбираем наибольшее и подстраиваем веса соответствующего нейрона согласно выражения , где - предыдущее значение веса, - его новое значение, - коэффициент обучения, вна­чале примерно равный 0,7 и постепенно уменьшающийся в процессе обучения. Выход “выигравшего” нейрона равен единице, всех остальных равен нулю.

Шаг 5. Выходной вектор слоя Кохонена подается на слой нейронов Гроссберга. В каж­дом нейроне слоя Гроссберга обычным образом рассчитывается активация

Шаг 6. Корректируем все веса слоя Гроссберга в соответствии с выражением:

                                     ,                                             

где  - -ая компонента реального вектора выхода,  - старое значение весового ко­эффициента слоя Гроссберга, - новое значение, 

 

Замечания

       Некоторой оптимизацией предложенного алгоритма есть использование метода выпуклой комбинации, в одном из вариантов которого предлагается приравнять все ве­совые коэффициенты одной и той же величине . Кроме того, приравнять каж­дую компоненту входного вектора :  . В начале обучения  и входные векторы совпадают с весовыми коэффициентами. В процессе обучения  воз­растает, постепенно приближаясь к единице. Этот метод приводит к правильному расп­ределению входных векторов и является достаточно эффективным.

     В другом подходе предлагается к истинным значениям входного вектора прибавлять шум (смещение).

     В третьем подходе подстраивают все весовые коэффициенты, а не только “выигравшего” нейрона.

      Возможен и такой вариант: если один из нейронов слоя Кохонена чаще становится победителем, чем другие, порог его срабатывания увеличивается

       Все методы, рассмотренные выше относятся к функционированию сети в режиме аккредитации. Сеть встречного распространения может функционировать также в ре­жиме интерполяции. Такой вариант соответствует тому, что подстраиваются весовые коэффициенты нескольких нейронов, имеющих наибольшую активацию. При этом вы­ходы нейронов слоя Кохонена необходимо нормировать, используя, например, функ­цию SOFTMAX (см. книгу Уоссермена). Тогда значения выходов этих нейронов будут интерпретироваться как вероятности принадлежности входного вектора тому или иному классу. 

       Сеть встречного распространения рекомендуется для предварительного прогнози­рования (для этого достаточно на входы обученной сети подать только вектор и по­лучить на выходе и , и . По сравнению с сетью с обратным распространением ошибки сеть ВР обучается значительно быстрее, но точность результата меньше.

 

1.      Hecht-Nielsen R. 1987a. Counterpropagation networks. In Proceedings of the IEEE First International Conference on Neural Networks, eds. M. Caudill and C. Butler, vol. 2, pp. 19-32. San Diego, CA: SOS Printing.

2.      Kohonen T. 1984. Self-organization and associative memory. Series in Information Sciences, vol. 8. Berlin: Springer Verlag.

3.      Qrossberg S. 1969. Some networks that can learn, remember and reproduce any number of complicated space-time patterns. Journal of Mathematics and Mechanics, 19:53-91.

 

Годичное обучение психологии современное с видеоматериалами

Если нет никаких отчетов и балансов на протяжении 2-х лет, можно ли закрыть ооо?

Зимние шины WR G2 www.avtomaximum.ru
Сайт создан в системе uCoz