Нейроинформатика

       

Метод обратного распространения точности для гарантированных интервальных оценок


Пусть нам заданы допустимые погрешности вычислений для выходных сигналов сети. Для каждого элемента решим задачу: определить допустимые погрешности на входах элемента по заданным максимально допустимым погрешностям на его выходе. Если эту задачу решить для каждого элемента сети, то можно оценить допустимые погрешности для всех сигналов, проходящих через сеть, переходя по сети от элемента к элементу в обратном направлении (от выходов сети к ее входам). Этот процесс мы назовем обратным распространением точности. В ходе него движение сигналов происходит от выходов ко входам, сигнал, проходящий по связи в обратном направлении, является допустимой погрешностью сигнала, проходящего по этой связи в прямом направлении.

Последним элементом стандартного нейрона является точка ветвления, поэтому начинаем рассмотрение метода обратного распространения точности именно с нее.

Точка ветвления имеет несколько выходов. Пусть для каждого ее выхода задана допустимая погрешность

Метод обратного распространения точности для гарантированных интервальных оценок
(i - номер выхода). Для того, чтобы удовлетворить всем этим ограничениям погрешности, необходимо и достаточно, чтобы входной сигнал точки ветвления имел погрешность
Метод обратного распространения точности для гарантированных интервальных оценок
Таким образом, при обратном распространении точности тока ветвления заменяется на двойственный элемент, выбирающий из поступающих сигналов
Метод обратного распространения точности для гарантированных интервальных оценок
(т.е. погрешностей) минимальный.

Следующим элементом стандартного нейрона является нелинейный преобразователь. Пусть входной сигнал нелинейного преобразователя равен

Метод обратного распространения точности для гарантированных интервальных оценок
,
Метод обратного распространения точности для гарантированных интервальных оценок
- его функция активации,
Метод обратного распространения точности для гарантированных интервальных оценок
- выходной сигнал и
Метод обратного распространения точности для гарантированных интервальных оценок
- допустимая погрешность выходного сигнала. Вычислим максимальную погрешность
Метод обратного распространения точности для гарантированных интервальных оценок
входного сигнала нелинейного преобразователя, то есть найдем отрезок
Метод обратного распространения точности для гарантированных интервальных оценок
такой, что для любого
Метод обратного распространения точности для гарантированных интервальных оценок
Метод обратного распространения точности для гарантированных интервальных оценок
отличается от
Метод обратного распространения точности для гарантированных интервальных оценок
не более, чем на
Метод обратного распространения точности для гарантированных интервальных оценок
:
Метод обратного распространения точности для гарантированных интервальных оценок

Ввиду непрерывности и дифференцируемости функции активации нелинейного преобразователя очевидно, что

Метод обратного распространения точности для гарантированных интервальных оценок
, где

Метод обратного распространения точности для гарантированных интервальных оценок

Пойдем традиционным путем, оценивая допустимую погрешность в линейном приближении:

Метод обратного распространения точности для гарантированных интервальных оценок
По условию

Метод обратного распространения точности для гарантированных интервальных оценок

Пользуясь этим неравенством, подберем

Метод обратного распространения точности для гарантированных интервальных оценок
следующим образом:
Метод обратного распространения точности для гарантированных интервальных оценок
В этом случае формула для вычисления допустимой погрешности более простая, но менее точная.


Получили погрешность, допустимую для входного сигнала нелинейного преобразователя, которая одновременно является допустимой погрешностью для выходного сигнала сумматора. Аналогично можем вычислить погрешность входного сигнала нелинейного преобразователя любого стандартного нейрона, если известна погрешность его выходного сигнала.

Двойственный к нелинейному преобразователю элемент - просто линейная связь! Ее вес равен
Метод обратного распространения точности для гарантированных интервальных оценок
для линейного приближения в формуле ошибки или
Метод обратного распространения точности для гарантированных интервальных оценок
- в более общем случае (в последней формуле максимум берется по отрезку
Метод обратного распространения точности для гарантированных интервальных оценок
- так что линейность здесь уже кажущаяся).

Перейдем к следующему элементу стандартного нейрона - адаптивному сумматору с
Метод обратного распространения точности для гарантированных интервальных оценок
синапсами, являющимися его входами. Адаптивный сумматор - это сумматор, в котором входные сигналы
Метод обратного распространения точности для гарантированных интервальных оценок
суммируются с весами
Метод обратного распространения точности для гарантированных интервальных оценок


Каждый вход
Метод обратного распространения точности для гарантированных интервальных оценок
сумматора
Метод обратного распространения точности для гарантированных интервальных оценок
имеет некоторую погрешность
Метод обратного распространения точности для гарантированных интервальных оценок
, которая вносит свой вклад в допустимую погрешность выходного сигнала сумматора. Эти погрешности могут иметь различные величины в зависимости от того, какой способ распределения допустимой погрешности выходного сигнала по входам сумматора мы выберем. Погрешности по входам сумматора могут распределяться равномерно, пропорционально и приоритетно.

Рассмотрим сначала равномерное распределение. Для этого полагаем, что на всех входах погрешности равны между собой
Метод обратного распространения точности для гарантированных интервальных оценок
Пусть
Метод обратного распространения точности для гарантированных интервальных оценок
- выходной сигнал сумматора без погрешностей. Тогда
Метод обратного распространения точности для гарантированных интервальных оценок
- множество выходных сигналов сумматора, получающихся, когда вектор входных сигналов сумматора пробегает вершины
Метод обратного распространения точности для гарантированных интервальных оценок
- мерного куба с центром в точке
Метод обратного распространения точности для гарантированных интервальных оценок
и ребром длины
Метод обратного распространения точности для гарантированных интервальных оценок


где
Метод обратного распространения точности для гарантированных интервальных оценок
Нам требуется, чтобы все множество значений
Метод обратного распространения точности для гарантированных интервальных оценок
попало в интервал
Метод обратного распространения точности для гарантированных интервальных оценок
Для этого необходимо, чтобы

Метод обратного распространения точности для гарантированных интервальных оценок


где максимум берется по всем
Метод обратного распространения точности для гарантированных интервальных оценок
Из этого неравенства и сделанного выше предположения о
Метод обратного распространения точности для гарантированных интервальных оценок
получаем требуемую оценку для равномерного распределения
Метод обратного распространения точности для гарантированных интервальных оценок
по входам сумматора:

Метод обратного распространения точности для гарантированных интервальных оценок


При пропорциональном распределении погрешностей допустимая погрешность выходного сигнала сумматора делится сначала на число входов, а затем для каждого входа делится на соответствующий вес синапса. То есть погрешности распределяются пропорционально весам соответствующих синапсов.


Формула расчета допустимой погрешности для каждого входа сумматора имеет вид:
Метод обратного распространения точности для гарантированных интервальных оценок
, где
Метод обратного распространения точности для гарантированных интервальных оценок
- допустимая погрешность выходного сигнала сумматора,
Метод обратного распространения точности для гарантированных интервальных оценок
- число входов сумматора,
Метод обратного распространения точности для гарантированных интервальных оценок
- веса синапсов соответствующих входов сумматора.

При приоритетном распределении погрешностей сначала назначаются погрешности для тех входов, которые наиболее значимы по какому-либо признаку, а затем оставшуюся часть допустимой погрешности выходного сигнала сумматора распределяют между оставшимися входами равномерно или пропорционально.

Аналогично можно вычислить допустимые погрешности для входных сигналов сумматора любого стандартного нейрона, если известны погрешности для выходного сигнала сумматора.



Рассмотрим обученную нейросеть с вычисленными весами синапсов

Метод обратного распространения точности для гарантированных интервальных оценок
Считаем, что погрешности входных сигналов, внутренних сигналов сети и элементов отсутствуют. При векторе входных сигналов
Метод обратного распространения точности для гарантированных интервальных оценок
получаем вектор выходных сигналов
Метод обратного распространения точности для гарантированных интервальных оценок
Вектор
Метод обратного распространения точности для гарантированных интервальных оценок
и внутренние сигналы сети
Метод обратного распространения точности для гарантированных интервальных оценок
будем считать точным вектором выходных сигналов и точными сигналами сети.

Рассмотрим теперь эту же сеть, но предположим, что все сигналы сети имеют некоторые погрешности. Пусть

Метод обратного распространения точности для гарантированных интервальных оценок
- вектор выходных сигналов, полученный при том же векторе входных сигналов
Метод обратного распространения точности для гарантированных интервальных оценок
, но с погрешностями внутренних сигналов сети.

Предполагаем, что внутри каждого слоя погрешности сигналов

Метод обратного распространения точности для гарантированных интервальных оценок
являются независимыми случайными величинами. Это предположение позволяет налагать менее жесткие требования при вычислении погрешностей сигналов.

Пусть нам задана

Метод обратного распространения точности для гарантированных интервальных оценок
- допустимая погрешность выходных сигналов сети. То есть вектор
Метод обратного распространения точности для гарантированных интервальных оценок
может отличаться от вектора
Метод обратного распространения точности для гарантированных интервальных оценок
не более, чем на
Метод обратного распространения точности для гарантированных интервальных оценок
Будем считать
Метод обратного распространения точности для гарантированных интервальных оценок
величиной среднеквадратического отклонения
Метод обратного распространения точности для гарантированных интервальных оценок
выходных сигналов сети
Метод обратного распространения точности для гарантированных интервальных оценок

Нам нужно выяснить, каким образом могут распределяться дисперсии сигналов при заданном

Метод обратного распространения точности для гарантированных интервальных оценок
и вычислить среднеквадратические отклонения
Метод обратного распространения точности для гарантированных интервальных оценок
для всех сигналов сети такие, чтобы среднеквадратическое отклонение вектора выходных сигналов
Метод обратного распространения точности для гарантированных интервальных оценок
равнялось
Метод обратного распространения точности для гарантированных интервальных оценок

Зная среднеквадратическое отклонение выходных сигналов, можем вычислить дисперсию выходных сигналов

Метод обратного распространения точности для гарантированных интервальных оценок
, а затем, переходя от элемента к элементу в обратном порядке, вычислим дисперсии
Метод обратного распространения точности для гарантированных интервальных оценок
и среднеквадратические отклонения
Метод обратного распространения точности для гарантированных интервальных оценок
для всех сигналов сети.

Типичным участком сети является стандартный нейрон. Из стандартных нейронов состоит любая нейронная сеть. Поэтому нам достаточно определить, как вычисляются среднеквадратические отклонения сигналов для элементов стандартного нейрона. Тогда мы будем иметь возможность вычислить среднеквадратические отклонения для любого участка сети.

Выясним, как вычисляются среднеквадратические отклонения для входных сигналов точки ветвления, нелинейного преобразователя и сумматора, если нам будут известны среднеквадратические отклонения выходных сигналов этих элементов.

Если дисперсии выходных сигналов точки ветвления

Метод обратного распространения точности для гарантированных интервальных оценок
при обратном распространении не равны между собой, то в качестве дисперсии входного сигнала точки ветвления выбирается
Метод обратного распространения точности для гарантированных интервальных оценок




Пусть
Метод обратного распространения точности для гарантированных интервальных оценок
- среднеквадратическое отклонение погрешности выходного сигнала нелинейного преобразователя. Пусть случайная величина
Метод обратного распространения точности для гарантированных интервальных оценок
(погрешность входного сигнала нелинейного преобразователя) имеет некоторую плотность распределения
Метод обратного распространения точности для гарантированных интервальных оценок
Считаем, что математическое ожидание погрешности входного сигнала
Метод обратного распространения точности для гарантированных интервальных оценок


и дисперсия

Метод обратного распространения точности для гарантированных интервальных оценок


Пусть нелинейный преобразователь имеет функцию активации
Метод обратного распространения точности для гарантированных интервальных оценок
и точный входной сигнал
Метод обратного распространения точности для гарантированных интервальных оценок
Рассмотрим линейное приближение функции активации
Метод обратного распространения точности для гарантированных интервальных оценок
в точке
Метод обратного распространения точности для гарантированных интервальных оценок
Линейное приближение имеет вид:
Метод обратного распространения точности для гарантированных интервальных оценок


Найдем математическое ожидание и дисперсию величины
Метод обратного распространения точности для гарантированных интервальных оценок


Метод обратного распространения точности для гарантированных интервальных оценок


Метод обратного распространения точности для гарантированных интервальных оценок


С другой стороны, нам известно, что дисперсия выходного сигнала нелинейного преобразователя равна
Метод обратного распространения точности для гарантированных интервальных оценок
Отсюда получаем

Метод обратного распространения точности для гарантированных интервальных оценок


Таким образом, мы вычислили среднеквадратическое отклонение входного сигнала нелинейного преобразователя для любого распределения погрешности входного сигнала
Метод обратного распространения точности для гарантированных интервальных оценок


Мы получили среднеквадратическое отклонение входного сигнала нелинейного преобразователя
Метод обратного распространения точности для гарантированных интервальных оценок
, которое одновременно является среднеквадратическим отклонением выходного сигнала сумматора с погрешностями входных сигналов
Метод обратного распространения точности для гарантированных интервальных оценок


Погрешность выходного сигнала сумматора равняется

Метод обратного распространения точности для гарантированных интервальных оценок


где
Метод обратного распространения точности для гарантированных интервальных оценок
- точный выходной сигнал сумматора.

Вычислим среднеквадратические отклонения
Метод обратного распространения точности для гарантированных интервальных оценок
входных сигналов сумматора. Рассмотрим для этого дисперсию погрешности выходного сигнала сумматора
Метод обратного распространения точности для гарантированных интервальных оценок


Предположим дополнительно, что
Метод обратного распространения точности для гарантированных интервальных оценок
равны между собой.

Метод обратного распространения точности для гарантированных интервальных оценок


Получили формулу для равномерного распределения среднеквадратических отклонений
Метод обратного распространения точности для гарантированных интервальных оценок
по входам сумматора. Если в качестве погрешности каждого входа рассматривать не
Метод обратного распространения точности для гарантированных интервальных оценок
, а
Метод обратного распространения точности для гарантированных интервальных оценок
, то получим формулу для пропорционального распределения среднеквадратических отклонений
Метод обратного распространения точности для гарантированных интервальных оценок
по входам сумматора.

Метод обратного распространения точности для гарантированных интервальных оценок




Получили погрешность, допустимую для входного сигнала нелинейного преобразователя, которая одновременно является допустимой погрешностью для выходного сигнала сумматора. Аналогично можем вычислить погрешность входного сигнала нелинейного преобразователя любого стандартного нейрона, если известна погрешность его выходного сигнала.

Двойственный к нелинейному преобразователю элемент - просто линейная связь! Ее вес равен
Метод обратного распространения точности для гарантированных интервальных оценок
для линейного приближения в формуле ошибки или
Метод обратного распространения точности для гарантированных интервальных оценок
- в более общем случае (в последней формуле максимум берется по отрезку
Метод обратного распространения точности для гарантированных интервальных оценок
- так что линейность здесь уже кажущаяся).

Перейдем к следующему элементу стандартного нейрона - адаптивному сумматору с
Метод обратного распространения точности для гарантированных интервальных оценок
синапсами, являющимися его входами. Адаптивный сумматор - это сумматор, в котором входные сигналы
Метод обратного распространения точности для гарантированных интервальных оценок
суммируются с весами
Метод обратного распространения точности для гарантированных интервальных оценок


Каждый вход
Метод обратного распространения точности для гарантированных интервальных оценок
сумматора
Метод обратного распространения точности для гарантированных интервальных оценок
имеет некоторую погрешность
Метод обратного распространения точности для гарантированных интервальных оценок
, которая вносит свой вклад в допустимую погрешность выходного сигнала сумматора. Эти погрешности могут иметь различные величины в зависимости от того, какой способ распределения допустимой погрешности выходного сигнала по входам сумматора мы выберем. Погрешности по входам сумматора могут распределяться равномерно, пропорционально и приоритетно.

Рассмотрим сначала равномерное распределение. Для этого полагаем, что на всех входах погрешности равны между собой
Метод обратного распространения точности для гарантированных интервальных оценок
Пусть
Метод обратного распространения точности для гарантированных интервальных оценок
- выходной сигнал сумматора без погрешностей. Тогда
Метод обратного распространения точности для гарантированных интервальных оценок
- множество выходных сигналов сумматора, получающихся, когда вектор входных сигналов сумматора пробегает вершины
Метод обратного распространения точности для гарантированных интервальных оценок
- мерного куба с центром в точке
Метод обратного распространения точности для гарантированных интервальных оценок
и ребром длины
Метод обратного распространения точности для гарантированных интервальных оценок


где
Метод обратного распространения точности для гарантированных интервальных оценок
Нам требуется, чтобы все множество значений
Метод обратного распространения точности для гарантированных интервальных оценок
попало в интервал
Метод обратного распространения точности для гарантированных интервальных оценок
Для этого необходимо, чтобы

Метод обратного распространения точности для гарантированных интервальных оценок


где максимум берется по всем
Метод обратного распространения точности для гарантированных интервальных оценок
Из этого неравенства и сделанного выше предположения о
Метод обратного распространения точности для гарантированных интервальных оценок
получаем требуемую оценку для равномерного распределения
Метод обратного распространения точности для гарантированных интервальных оценок
по входам сумматора:

Метод обратного распространения точности для гарантированных интервальных оценок


При пропорциональном распределении погрешностей допустимая погрешность выходного сигнала сумматора делится сначала на число входов, а затем для каждого входа делится на соответствующий вес синапса. То есть погрешности распределяются пропорционально весам соответствующих синапсов.


Формула расчета допустимой погрешности для каждого входа сумматора имеет вид:
Метод обратного распространения точности для гарантированных интервальных оценок
, где
Метод обратного распространения точности для гарантированных интервальных оценок
- допустимая погрешность выходного сигнала сумматора,
Метод обратного распространения точности для гарантированных интервальных оценок
- число входов сумматора,
Метод обратного распространения точности для гарантированных интервальных оценок
- веса синапсов соответствующих входов сумматора.

При приоритетном распределении погрешностей сначала назначаются погрешности для тех входов, которые наиболее значимы по какому-либо признаку, а затем оставшуюся часть допустимой погрешности выходного сигнала сумматора распределяют между оставшимися входами равномерно или пропорционально.

Аналогично можно вычислить допустимые погрешности для входных сигналов сумматора любого стандартного нейрона, если известны погрешности для выходного сигнала сумматора.

Для адаптивного сумматора можно вычислять как допустимые погрешности входных сигналов сумматора, так и допустимые погрешности весов синапсов. Для вычисления допустимых погрешностей весов синапсов также можно использовать равномерное, пропорциональное и приоритетное распределение погрешностей. При равномерном распределении допустимые погрешности для весов синапсов вычисляются по формуле:
Метод обратного распространения точности для гарантированных интервальных оценок


где
Метод обратного распространения точности для гарантированных интервальных оценок
- входные сигналы сумматора.

При пропорциональном распределении допустимые погрешности для весов синапсов вычисляются по формуле:
Метод обратного распространения точности для гарантированных интервальных оценок
, где
Метод обратного распространения точности для гарантированных интервальных оценок
- число входов сумматора,
Метод обратного распространения точности для гарантированных интервальных оценок
- входные сигналы сумматора.

При приоритетном распределении сначала назначаются допустимые погрешности для тех весов синапсов, которые наиболее значимы по какому-либо признаку, а затем оставшуюся часть допустимой погрешности для выходного сигнала сумматора распределяют между оставшимися весами синапсов равномерно или пропорционально.

При обратном распространении точности имеет место специфическая двойственность - элементы сети заменяются на двойственные им. Однако, эта двойственность отличается от той, с которой мы встречаемся при изучении обратного распространения ошибки для вычисления градиентов функции оценки. Так, если в обычном обратном распространении двойственным элементом к точке ветвления является простой сумматор, то при обратном распространении точности вместо него, как было показано, появляется элемент, вычисляющий минимум приходящих на него сигналов.


Нелинейный преобразователь при обратном распространении точности заменяется двойственным ему элементом, умножающим сигнал на число. Но если при обратном распространении ошибки множителем является значение градиента, то в нашем случае сигнал умножается на величину обратную производной от входного сигнала нелинейного преобразователя. Адаптивный сумматор также заменяется двойственным ему элементом. Этот элемент является своеобразной точкой ветвления. Но, в отличии от простой точки ветвления, он сначала преобразует приходящий к нему сигнал в соответствии с выбранным распределением погрешностей по входам адаптивного сумматора, а затем передает полученные сигналы дальше.

Теперь мы знаем, каким образом вычислять гарантированную интервальную оценку погрешности для любого элемента стандартного нейрона методом обратного распространения точности.

  1. Точка ветвления. Если допустимые погрешности выходных сигналов точки ветвления равны
    Метод обратного распространения точности для гарантированных интервальных оценок
    , то в качестве погрешности входного сигнала точки ветвления выбирается
    Метод обратного распространения точности для гарантированных интервальных оценок
    ( рис. 6.2).

    Метод обратного распространения точности для гарантированных интервальных оценок

    Рис. 6.2. 

  2. Нелинейный преобразователь. Пусть при прямом функционировании входной сигнал нелинейного преобразователя равен
    Метод обратного распространения точности для гарантированных интервальных оценок
    , его выходной сигнал равен
    Метод обратного распространения точности для гарантированных интервальных оценок
    и нелинейный преобразователь имеет функцию активации
    Метод обратного распространения точности для гарантированных интервальных оценок
    Если допустимая погрешность выходного сигнала нелинейного преобразователя равняется
    Метод обратного распространения точности для гарантированных интервальных оценок
    , то погрешность его входного сигнала не должна превышать
    Метод обратного распространения точности для гарантированных интервальных оценок
    , где
    Метод обратного распространения точности для гарантированных интервальных оценок
    или в линейном приближении
    Метод обратного распространения точности для гарантированных интервальных оценок
    ( рис. 6.3).

    Метод обратного распространения точности для гарантированных интервальных оценок

    Рис. 6.3. 

  3. Адаптивный сумматор. Если при обратном распространении допустимая погрешность выходного сигнала адаптивного сумматора равняется
    Метод обратного распространения точности для гарантированных интервальных оценок
    , то погрешность каждого входа сумматора не должна превышать
    Метод обратного распространения точности для гарантированных интервальных оценок
    , где
    Метод обратного распространения точности для гарантированных интервальных оценок
    для равномерного распределения и
    Метод обратного распространения точности для гарантированных интервальных оценок
    для пропорционального распределения ( рис. 6.4).

    Метод обратного распространения точности для гарантированных интервальных оценок

    Рис. 6.4. 



Зная, как вычисляются допустимые погрешности для всех элементов стандартного нейрона, можно вычислить допустимые погрешности сигналов для всей сети. Рассмотрим участок сети, состоящий из сумматора
Метод обратного распространения точности для гарантированных интервальных оценок
и нелинейного преобразователя, результатом работы которого является выходной сигнал
Метод обратного распространения точности для гарантированных интервальных оценок
, а также из сумматоров
Метод обратного распространения точности для гарантированных интервальных оценок
и нелинейных преобразователей, выходные сигналы которых являются входными сигналами сумматора
Метод обратного распространения точности для гарантированных интервальных оценок
(рис. 6.5).


То есть мы рассматриваем два последних слоя нейронной сети, состоящие из стандартных нейронов.

Метод обратного распространения точности для гарантированных интервальных оценок

Рис. 6.5. 

Если заданы допустимые погрешности для выходных сигналов сети, можно вычислить допустимые погрешности для последнего слоя сети. Когда вычислены допустимые погрешности всех входных сигналов последнего слоя сети, переходим к вычислению допустимых погрешностей предпоследнего слоя и так далее. Переходя по сети в обратном направлении от слоя к слою, мы можем вычислить допустимые погрешности всех сигналов сети, в том числе допустимые погрешности входных сигналов.

Мы рассмотрели, как изменяются погрешности сигналов при прохождении через элементы сети. Предположим теперь, что не только сигналы имеют погрешности, но и все элементы сети передают приходящие к ним сигналы с некоторыми погрешностями. Пусть собственные погрешности элементов известны и фиксированы. Выясним, как влияют собственные погрешности элементов на погрешности сигналов.

Bыясним, как действуют элементы сети, имеющие собственные погрешности, при прямой работе сети.

Точка ветвления может либо вообще не иметь погрешности, либо она имеет собственную погрешность
Метод обратного распространения точности для гарантированных интервальных оценок
В последнем случае сигнал
Метод обратного распространения точности для гарантированных интервальных оценок
при прохождении через точку ветвления будет изменяться, оставаясь в интервале
Метод обратного распространения точности для гарантированных интервальных оценок
( рис. 6.6).

Метод обратного распространения точности для гарантированных интервальных оценок

Рис. 6.6. 

Предположим, что сумматор имеет собственную погрешность
Метод обратного распространения точности для гарантированных интервальных оценок
Тогда возможны следующие варианты:

  1. погрешность прибавляется к выходному сигналу сумматора, т.е. при прохождении сигналов
    Метод обратного распространения точности для гарантированных интервальных оценок
    через сумматор выходной сигнал сумматора будет иметь вид:
    Метод обратного распространения точности для гарантированных интервальных оценок
  2. погрешность сумматора действует по каждому входу пропорционально
    Метод обратного распространения точности для гарантированных интервальных оценок
    ( рис. 6.7).


Метод обратного распространения точности для гарантированных интервальных оценок

Рис. 6.7. 

Считаем при этом, что погрешности
Метод обратного распространения точности для гарантированных интервальных оценок
равны между собой и равны
Метод обратного распространения точности для гарантированных интервальных оценок
, где
Метод обратного распространения точности для гарантированных интервальных оценок
- число входов сумматора.

Пусть собственная погрешность нелинейного преобразователя равна
Метод обратного распространения точности для гарантированных интервальных оценок
,
Метод обратного распространения точности для гарантированных интервальных оценок
- входной сигнал нелинейного преобразователя,
Метод обратного распространения точности для гарантированных интервальных оценок
- его функция активации. Собственная погрешность может добавляться или к входному сигналу
Метод обратного распространения точности для гарантированных интервальных оценок
:
Метод обратного распространения точности для гарантированных интервальных оценок
, или к выходному сигналу нелинейного преобразователя:
Метод обратного распространения точности для гарантированных интервальных оценок
( рис. 6.8).

Метод обратного распространения точности для гарантированных интервальных оценок

Рис. 6.8. 

Мы выяснили как вычисляются допустимые погрешности сигналов сети.


При этом мы не выделяли особо тот вклад, который вносят в погрешность сигнала сами элементы. Рассмотрим теперь, как вычисляются допустимые погрешности сигналов сети при обратном распространении точности с учетом собственных погрешностей элементов стандартного нейрона.

Начнем вычисление допустимых погрешностей сигналов сети с учетом собственных погрешностей элементов с точки ветвления. Пусть точка ветвления имеет собственную погрешность
Метод обратного распространения точности для гарантированных интервальных оценок
Предположим, что допустимые погрешности выходных сигналов точки ветвления равны
Метод обратного распространения точности для гарантированных интервальных оценок
Для увеличения точности вычислений необходимо накладывать на допустимые погрешности наиболее жесткие требования. Поэтому в качестве допустимой погрешности входного сигнала точки ветвления при обратном распространении следует выбирать погрешность
Метод обратного распространения точности для гарантированных интервальных оценок


Следующий элемент стандартного нейрона - нелинейный преобразователь. Если нелинейный преобразователь имеет собственную погрешность
Метод обратного распространения точности для гарантированных интервальных оценок
, которая добавляется к его выходному сигналу, и погрешность его выходного сигнала равняется
Метод обратного распространения точности для гарантированных интервальных оценок
, то допустимая погрешность входного сигнала нелинейного преобразователя равняется
Метод обратного распространения точности для гарантированных интервальных оценок
, где
Метод обратного распространения точности для гарантированных интервальных оценок


или в линейном приближении
Метод обратного распространения точности для гарантированных интервальных оценок


Предположим теперь, что собственная погрешность нелинейного преобразователя
Метод обратного распространения точности для гарантированных интервальных оценок
добавляется к его входному сигналу
Метод обратного распространения точности для гарантированных интервальных оценок
, и при обратном распространении точности погрешность выходного сигнала нелинейного преобразователя равняется
Метод обратного распространения точности для гарантированных интервальных оценок
Рассмотрим наихудший вариант, когда входной сигнал нелинейного преобразователя находится в интервале
Метод обратного распространения точности для гарантированных интервальных оценок


В этом случае допустимая погрешность входного сигнала нелинейного преобразователя вычисляется следующим образом:

Метод обратного распространения точности для гарантированных интервальных оценок


где
Метод обратного распространения точности для гарантированных интервальных оценок


Рассмотрим допустимую погрешность в линейном приближении:

Метод обратного распространения точности для гарантированных интервальных оценок


По условию

Метод обратного распространения точности для гарантированных интервальных оценок


Получаем:
Метод обратного распространения точности для гарантированных интервальных оценок


или

Метод обратного распространения точности для гарантированных интервальных оценок


И, наконец, перейдем к вычислению допустимых погрешностей входных сигналов сумматора. Рассмотрим вариант, при котором собственная погрешность сумматора
Метод обратного распространения точности для гарантированных интервальных оценок
добавляется к его выходному сигналу, и допустимая погрешность выходного сигнала сумматора равняется
Метод обратного распространения точности для гарантированных интервальных оценок
При обратном распространении точности получаем, что равномерно, пропорционально и приоритетно по выше полученным формулам распределяется погрешность
Метод обратного распространения точности для гарантированных интервальных оценок




Если же собственная погрешность сумматора пропорционально распределяется по его входам, и допустимая погрешность выходного сигнала сумматора равняется
Метод обратного распространения точности для гарантированных интервальных оценок
, то допустимые погрешности для входов сумматора вычисляются следующим образом. Пусть
Метод обратного распространения точности для гарантированных интервальных оценок
- выходной сигнал сумматора без погрешностей. Тогда
Метод обратного распространения точности для гарантированных интервальных оценок
- выходные сигналы сумматора с учетом собственных погрешностей сумматора
Метод обратного распространения точности для гарантированных интервальных оценок
и погрешностей входных сигналов
Метод обратного распространения точности для гарантированных интервальных оценок
:

Метод обратного распространения точности для гарантированных интервальных оценок


где
Метод обратного распространения точности для гарантированных интервальных оценок
Для того, чтобы все множество
Метод обратного распространения точности для гарантированных интервальных оценок
попало в интервал
Метод обратного распространения точности для гарантированных интервальных оценок


необходимо, чтобы

Метод обратного распространения точности для гарантированных интервальных оценок


где максимум берется по всем
Метод обратного распространения точности для гарантированных интервальных оценок
Из этого неравенства, предполагая что
Метод обратного распространения точности для гарантированных интервальных оценок
равны между собой, получаем требуемую оценку для
Метод обратного распространения точности для гарантированных интервальных оценок
:

Метод обратного распространения точности для гарантированных интервальных оценок


Мы получили формулы для вычисления допустимых погрешностей сигналов для любого участка сети с учетом того, что все элементы имеют собственные погрешности, которые вносят свой вклад в погрешность выходного сигнала этих элементов.



Пусть
Метод обратного распространения точности для гарантированных интервальных оценок
- среднеквадратическое отклонение погрешности выходного сигнала нелинейного преобразователя. Пусть случайная величина
Метод обратного распространения точности для гарантированных интервальных оценок
(погрешность входного сигнала нелинейного преобразователя) имеет некоторую плотность распределения
Метод обратного распространения точности для гарантированных интервальных оценок
Считаем, что математическое ожидание погрешности входного сигнала
Метод обратного распространения точности для гарантированных интервальных оценок


и дисперсия

Метод обратного распространения точности для гарантированных интервальных оценок


Пусть нелинейный преобразователь имеет функцию активации
Метод обратного распространения точности для гарантированных интервальных оценок
и точный входной сигнал
Метод обратного распространения точности для гарантированных интервальных оценок
Рассмотрим линейное приближение функции активации
Метод обратного распространения точности для гарантированных интервальных оценок
в точке
Метод обратного распространения точности для гарантированных интервальных оценок
Линейное приближение имеет вид:
Метод обратного распространения точности для гарантированных интервальных оценок


Найдем математическое ожидание и дисперсию величины
Метод обратного распространения точности для гарантированных интервальных оценок


Метод обратного распространения точности для гарантированных интервальных оценок


Метод обратного распространения точности для гарантированных интервальных оценок


С другой стороны, нам известно, что дисперсия выходного сигнала нелинейного преобразователя равна
Метод обратного распространения точности для гарантированных интервальных оценок
Отсюда получаем

Метод обратного распространения точности для гарантированных интервальных оценок


Таким образом, мы вычислили среднеквадратическое отклонение входного сигнала нелинейного преобразователя для любого распределения погрешности входного сигнала
Метод обратного распространения точности для гарантированных интервальных оценок


Мы получили среднеквадратическое отклонение входного сигнала нелинейного преобразователя
Метод обратного распространения точности для гарантированных интервальных оценок
, которое одновременно является среднеквадратическим отклонением выходного сигнала сумматора с погрешностями входных сигналов
Метод обратного распространения точности для гарантированных интервальных оценок


Погрешность выходного сигнала сумматора равняется

Метод обратного распространения точности для гарантированных интервальных оценок


где
Метод обратного распространения точности для гарантированных интервальных оценок
- точный выходной сигнал сумматора.

Вычислим среднеквадратические отклонения
Метод обратного распространения точности для гарантированных интервальных оценок
входных сигналов сумматора. Рассмотрим для этого дисперсию погрешности выходного сигнала сумматора
Метод обратного распространения точности для гарантированных интервальных оценок


Предположим дополнительно, что
Метод обратного распространения точности для гарантированных интервальных оценок
равны между собой.

Метод обратного распространения точности для гарантированных интервальных оценок


Получили формулу для равномерного распределения среднеквадратических отклонений
Метод обратного распространения точности для гарантированных интервальных оценок
по входам сумматора. Если в качестве погрешности каждого входа рассматривать не
Метод обратного распространения точности для гарантированных интервальных оценок
, а
Метод обратного распространения точности для гарантированных интервальных оценок
, то получим формулу для пропорционального распределения среднеквадратических отклонений
Метод обратного распространения точности для гарантированных интервальных оценок
по входам сумматора.

Метод обратного распространения точности для гарантированных интервальных оценок


Кроме равномерного и пропорционального распределения среднеквадратических отклонений погрешностей по входам сумматора, может быть использовано приоритетное распределение среднеквадратических отклонений. При этом сначала назначаются среднеквадратические отклонения погрешностей для тех входов сумматора, которые наиболее значимы по какому-либо признаку, а затем оставшаяся часть среднеквадратического отклонения погрешности выходного сигнала сумматора распределяется по остальным входам равномерно или пропорционально.



Мы рассмотрели, как изменяются погрешности сигналов при прохождении через элементы сети. Предположим теперь, что не только сигналы имеют погрешности, но и все элементы сети передают приходящие к ним сигналы с некоторыми погрешностями. Пусть среднеквадратические отклонения погрешностей элементов известны и фиксированы. Выясним, как влияют собственные погрешности элементов на погрешности сигналов.

Вычислим среднеквадратические отклонения входных сигналов точки ветвления, нелинейного преобразователя и сумматора, если известны среднеквадратические отклонения выходных сигналов и собственные погрешности этих элементов.

Пусть точка ветвления имеет собственную погрешность
Метод обратного распространения точности для гарантированных интервальных оценок
и среднеквадратическое отклонение собственной погрешности равно
Метод обратного распространения точности для гарантированных интервальных оценок
Собственная погрешность
Метод обратного распространения точности для гарантированных интервальных оценок
добавляется к каждому сигналу, выходящему из точки ветвления.

Если при обратном распространении получаем дисперсии выходных сигналов точки ветвления
Метод обратного распространения точности для гарантированных интервальных оценок
не равные между собой, то в качестве дисперсии входного сигнала точки ветвления, с учетом собственной погрешности, выбирается
Метод обратного распространения точности для гарантированных интервальных оценок


Пусть среднеквадратическое отклонение собственной погрешности нелинейного преобразователя равно
Метод обратного распространения точности для гарантированных интервальных оценок
, а среднеквадратическое отклонение выходного сигнала нелинейного преобразователя равно
Метод обратного распространения точности для гарантированных интервальных оценок
Собственная погрешность нелинейного преобразователя
Метод обратного распространения точности для гарантированных интервальных оценок
может добавляться либо к результату работы нелинейного преобразователя:
Метод обратного распространения точности для гарантированных интервальных оценок
, либо к входному сигналу нелинейного преобразователя:
Метод обратного распространения точности для гарантированных интервальных оценок


Рассмотрим оба варианта.

Пусть погрешность
Метод обратного распространения точности для гарантированных интервальных оценок
добавляется к результату работы нелинейного преобразователя. Рассмотрим дисперсию

Метод обратного распространения точности для гарантированных интервальных оценок


Отсюда получаем, что дисперсия непосредственно выходного сигнала нелинейного преобразователя равна
Метод обратного распространения точности для гарантированных интервальных оценок


Среднеквадратическое отклонение для входного сигнала нелинейного преобразователя вычисляется как указано выше. В качестве дисперсии выходного сигнала в формуле используется вычисленная дисперсия
Метод обратного распространения точности для гарантированных интервальных оценок
Среднеквадратическое отклонение погрешности входного сигнала нелинейного преобразователя будет равняться
Метод обратного распространения точности для гарантированных интервальных оценок


Пусть теперь собственная погрешность нелинейного преобразователя добавляется к его входному сигналу:
Метод обратного распространения точности для гарантированных интервальных оценок
В этом случае погрешность входного сигнала имеет математическое ожидание



Метод обратного распространения точности для гарантированных интервальных оценок


и дисперсию

Метод обратного распространения точности для гарантированных интервальных оценок


Вычислим математическое ожидание и дисперсию выходного сигнала нелинейного преобразователя, рассматривая линейное приближение
Метод обратного распространения точности для гарантированных интервальных оценок


Метод обратного распространения точности для гарантированных интервальных оценок


Метод обратного распространения точности для гарантированных интервальных оценок


Отсюда получаем
Метод обратного распространения точности для гарантированных интервальных оценок


Перейдем к вычислению среднеквадратических отклонений входных сигналов сумматора. Пусть среднеквадратическое отклонение выходного сигнала сумматора равно
Метод обратного распространения точности для гарантированных интервальных оценок
, собственное среднеквадратическое отклонение погрешности сумматора равно
Метод обратного распространения точности для гарантированных интервальных оценок


Собственная погрешность сумматора может добавляться либо к выходному сигналу сумматора:
Метод обратного распространения точности для гарантированных интервальных оценок


либо к каждому входу сумматора:

Метод обратного распространения точности для гарантированных интервальных оценок


где
Метод обратного распространения точности для гарантированных интервальных оценок


Пусть собственная погрешность добавляется к выходному сигналу сумматора. Вычислим среднеквадратическое отклонение погрешностей для входных сигналов сумматора. Рассмотрим для этого дисперсию

Метод обратного распространения точности для гарантированных интервальных оценок


Для равномерного распределения среднеквадратических отклонений предполагаем, что
Метод обратного распространения точности для гарантированных интервальных оценок
равны между собой.

Метод обратного распространения точности для гарантированных интервальных оценок


Если будем рассматривать пропорциональное распределение среднеквадратических отклонений входных сигналов сумматора, то получим

Метод обратного распространения точности для гарантированных интервальных оценок


Пусть теперь собственное среднеквадратическое отклонение сумматора добавляется к каждому входу сумматора:
Метод обратного распространения точности для гарантированных интервальных оценок


Вычислим среднеквадратическое отклонение погрешностей для входных сигналов сумматора. Рассмотрим для этого дисперсию
Метод обратного распространения точности для гарантированных интервальных оценок


Для равномерного распределения среднеквадратических отклонений предполагаем, что
Метод обратного распространения точности для гарантированных интервальных оценок
равны между собой.

Метод обратного распространения точности для гарантированных интервальных оценок


Если будем рассматривать пропорциональное распределение среднеквадратических отклонений входных сигналов сумматора, то получим
Метод обратного распространения точности для гарантированных интервальных оценок


Зная, как вычисляются среднеквадратические отклонения погрешностей для всех элементов стандартного нейрона, можно вычислить среднеквадратические отклонения погрешностей сигналов для всей сети. Если заданы среднеквадратические отклонения погрешностей для выходных сигналов сети, можно вычислить среднеквадратические отклонения погрешностей для последнего слоя сети. Когда вычислены среднеквадратические отклонения погрешностей всех входных сигналов последнего слоя сети, переходим к вычислению среднеквадратических отклонений погрешностей предпоследнего слоя и так далее.

Рассмотрим пример на рис. 6.10. Пусть дана сеть с тремя нейронами входного слоя, двумя нейронами скрытого слоя и одним выходным нейроном.


На рисунке показаны сигналы, проходящие по сети при данном векторе входных сигналов, и веса связей. В данном примере элементы сети не имеют собственных погрешностей. Характеристическая функция нелинейных преобразователей имеет вид:
Метод обратного распространения точности для гарантированных интервальных оценок
, где
Метод обратного распространения точности для гарантированных интервальных оценок
- входной сигнал нелинейного преобразователя. Среднеквадратическое отклонение вектора выходных сигналов сети
Метод обратного распространения точности для гарантированных интервальных оценок
равняется 0.01. Среднеквадратические отклонения погрешностей по входам сумматора вычисляются с использованием формулы для равномерного распределения среднеквадратических отклонений.

Метод обратного распространения точности для гарантированных интервальных оценок

Рис. 6.10. 

Вычислим среднеквадратические отклонения для всех сигналов сети при данном векторе входных сигналов. Все вычисленные значения в этом примере округляются до двух знаков после запятой. На рис. 6.11 показаны вычисленные среднеквадратические отклонения для данного примера.

Метод обратного распространения точности для гарантированных интервальных оценок

Рис. 6.11. 

Метод обратного распространения точности для гарантированных интервальных оценок


Метод обратного распространения точности для гарантированных интервальных оценок


Метод обратного распространения точности для гарантированных интервальных оценок


Метод обратного распространения точности для гарантированных интервальных оценок


Метод обратного распространения точности для гарантированных интервальных оценок


Метод обратного распространения точности для гарантированных интервальных оценок


Метод обратного распространения точности для гарантированных интервальных оценок


Метод обратного распространения точности для гарантированных интервальных оценок


Метод обратного распространения точности для гарантированных интервальных оценок


Метод обратного распространения точности для гарантированных интервальных оценок


Метод обратного распространения точности для гарантированных интервальных оценок


Метод обратного распространения точности для гарантированных интервальных оценок


Метод обратного распространения точности для гарантированных интервальных оценок


Таким образом, получены формулы для вычисления среднеквадратических отклонений погрешностей сигналов сети, в предположении, что погрешности являются независимыми случайными величинами.


Содержание раздела