Контрастирование на основе оценки

Рассмотрим сеть, правильно решающую все примеры обучающего множества. Обозначим через

веса всех связей. При обратном функционировании сети по принципу двойственности или методу обратного распространения ошибки сеть вычисляет вектор градиента функции оценки H по весам связей -

. Пусть

- текущий набор весов связей, а оценка текущего примера равна

. Тогда в линейном приближении можно записать функцию оценки в точке w как

. Используя это приближение можно оценить изменение оценки при замене

на как

, где q - номер примера обучающего множества, для которого были вычислены оценка и градиент. Величину

будем называть показателем чувствительности к замене

на

для примера q . Далее необходимо вычислить показатель чувствительности, не зависящий от номера примера. Для этого можно воспользоваться любой нормой. Обычно используется равномерная норма (максимум модуля):

. Умея вычислять показатели чувствительности, можно приступать к процедуре контрастирования.

Приведем простейший вариант этой процедуры:

Вычисляем показатели чувствительности.
Находим минимальный среди показателей чувствительности -
.
Заменим соответствующий этому показателю чувствительности вес
на
, и исключаем его из процедуры обучения.
Предъявим сети все примеры обучающего множества. Если сеть не допустила ни одной ошибки, то переходим ко второму шагу процедуры.
Пытаемся обучить отконтрастированную сеть. Если сеть обучилась безошибочному решению задачи, то переходим к первому шагу процедуры, в противном случае переходим к шестому шагу.
Восстанавливаем сеть в состояние до последнего выполнения третьего шага. Если в ходе выполнения шагов со второго по пятый был отконтрастирован хотя бы один вес, (число обучаемых весов изменилось), то переходим к первому шагу. Если ни один вес не был отконтрастирован, то получена минимальная сеть.

Возможно использование различных обобщений этой процедуры. Например, контрастировать за один шаг процедуры не один вес, а заданное пользователем число весов. Наиболее радикальная процедура состоит в контрастировании половины весов связей. Если половину весов отконтрастировать не удается, то пытаемся отконтрастировать четверть и т.д. Отметим, что при описанном методе вычисления показателей чувствительности, предполагается возможным вычисление функции оценки и проведения процедуры обучения сети, а также предполагается известным обучающее множество. Возможен и другой путь.

Содержание раздела

Главная сайта