Универсальные аппроксимационные способности произвольной нелинейности и обобщенная теорема Стоуна

В этом разделе для множеств непрерывных функций, замкнутых относительно любой нелинейной операции (а не только для колец), доказана обобщенная аппроксимационная теорема Стоуна. Это интерпретируется как утверждение о универсальных аппроксимационных возможностях произвольной нелинейности: с помощью линейных операций и каскадного соединения можно из произвольного нелинейного элемента получить устройство, вычисляющее любую непрерывную функцию с любой наперед заданной точностью.

Рассмотрим компактное пространство X и алгебру C(X) непрерывных функций на X с вещественными значениями.

Кроме аппроксимации функций многочленами и их обобщениями из колец функций, разделяющих точки, в последнее время все большее внимание уделяется приближению функций многих переменных с помощью линейных операций и суперпозиций функций одного переменного. Такое приближение осуществляется специальными формальными "устройствами" - нейронными сетями. Каждая сеть состоит из формальных нейронов. Нейрон получает на входе вектор сигналов x, вычисляет его скалярное произведение на вектор весов a и некоторую функцию одного переменного

. Результат рассылается на входы других нейронов или передается на выход. Таким образом, нейронные сети вычисляют суперпозиции простых функций одного переменного и их линейных комбинаций.

Доказан ряд теорем [1.8, 1.9, 1.10] об аппроксимации непрерывных функций многих переменных нейронными сетями с использованием практически произвольной непрерывной функции одного переменного. В данном разделе мы покажем, что эта функция действительно может быть произвольной и докажем обобщенную теорему Стоуна, естественным образом охватывающую и классическую теорему Стоуна, и аппроксимацию функций многих переменных суперпозициями и линейными комбинациями функций одного переменного.

Чтобы получить требуемое обобщение, перейдем от рассмотрения колец функций к изучению их алгебр, замкнутых относительно некоторой нелинейной унарной операции.

Пусть

- линейное пространство, C(R) - пространство непрерывных функций на действительной оси R, - нелинейная функция и для любого выполнено .
В этом случае будем говорить, что E замкнуто относительно нелинейной унарной операции f.

Очевидный пример: множество функций n переменных, которые можно точно представить, используя заданную функцию одного переменного и линейные функции, является линейным пространством, замкнутым относительно нелинейной унарной операции f.

Замечание. Линейное пространство замкнуто относительно нелинейной операции f(x)=x2 тогда и только тогда, когда E является кольцом.

Действительно, поэтому для линейного пространства замкнутость относительно унарной операции f(x)=x2 равносильна замкнутости относительно произведения функций.

Согласно приведенному замечанию, теорема Стоуна может быть переформулирована так.

Пусть - замкнутое линейное подпространство в C(X), , функции из E разделяют точки в X и E замкнуто относительно нелинейной унарной операции f(x)=x2. Тогда E=C(X) .

Наше обобщение теоремы Стоуна состоит в замене f(x)=x2 на произвольную нелинейную непрерывную функцию.

Теорема 1. Пусть - замкнутое линейное подпространство в C(X), , функции из E разделяют точки в X и E замкнуто относительно нелинейной унарной операции . Тогда E=C(X) .

Доказательство. Рассмотрим множество всех таких , что , то есть для любого выполнено: . Обозначим это множество PE. Оно обладает следующими свойствами:

1. PE - полугруппа относительно суперпозиции функций;
2. PE - замкнутое линейное подпространство в C(R) (в топологии равномерной сходимости на компактах);
3. 
   и
   
   .
4. PE включает хоть одну непрерывную нелинейную функцию.

Дальнейшее следует из теоремы 2, которая является, по существу, подготовительной теоремой о полугруппах функций.



В этом случае будем говорить, что E замкнуто относительно нелинейной унарной операции f.

Очевидный пример: множество функций n переменных, которые можно точно представить, используя заданную функцию одного переменного и линейные функции, является линейным пространством, замкнутым относительно нелинейной унарной операции f.

Замечание. Линейное пространство замкнуто относительно нелинейной операции f(x)=x2 тогда и только тогда, когда E является кольцом.

Действительно, поэтому для линейного пространства замкнутость относительно унарной операции f(x)=x2 равносильна замкнутости относительно произведения функций.

Согласно приведенному замечанию, теорема Стоуна может быть переформулирована так.

Пусть - замкнутое линейное подпространство в C(X), , функции из E разделяют точки в X и E замкнуто относительно нелинейной унарной операции f(x)=x2. Тогда E=C(X) .

Наше обобщение теоремы Стоуна состоит в замене f(x)=x2 на произвольную нелинейную непрерывную функцию.

Теорема 1. Пусть - замкнутое линейное подпространство в C(X), , функции из E разделяют точки в X и E замкнуто относительно нелинейной унарной операции . Тогда E=C(X) .

Доказательство. Рассмотрим множество всех таких , что , то есть для любого выполнено: . Обозначим это множество PE. Оно обладает следующими свойствами:

1. PE - полугруппа относительно суперпозиции функций;
2. PE - замкнутое линейное подпространство в C(R) (в топологии равномерной сходимости на компактах);
3. 
   и
   
   .
4. PE включает хоть одну непрерывную нелинейную функцию.

Дальнейшее следует из теоремы 2, которая является, по существу, подготовительной теоремой о полугруппах функций.

Теорема 2. Пусть множество удовлетворяет условиям 1-4. Тогда P=C(R).

Доказательство опирается на три леммы.

Лемма 1. В условиях теоремы 2 существует дважды непрерывно дифференцируемая функция , не являющаяся линейной.

Доказательство. Пусть , v(x)=0 при |x|>1, . Рассмотрим оператор осреднения



Для любого ?>0 выполнено: .

Действительно, для каждого фиксированного y ((т.к. константы принадлежат E и E замкнуто относительно линейных операций и суперпозиции функций).


Интеграл . принадлежит E, так как E является замкнутым линейным подпространством в C(R), а этот интеграл пределом конечных сумм.

Функция принадлежит так как



(напомним, что v – функция с компактным носителем).

Существует такое ?>0, что функция не является линейной, поскольку не является линейной, поскольку , пространство линейных функций замкнуто, а f не является линейной функцией. Таким образом, в предположениях леммы существует нелинейная функция , которую можно выбрать в виде

Лемма 2. Пусть в условиях теоремы 2 существует дважды непрерывно дифференцируемая функция , не являющаяся линейной. Тогда функция q(x)=x2 принадлежит P.

Доказательство. Существует точка x0, для которой . Обозначим r(x)=2(g(x+x0)-g(x0)-xg'(x0))/g''(x0). Очевидно, что . Поэтому

при .

Поскольку P замкнуто, получаем: функция q(x)=x2принадлежит P.

Лемма 3. Пусть в условиях теоремы 2 функция q(x)=x2 принадлежит P. Тогда P является кольцом - для любых их произведение .

Доказательство. Действительно, и, так как P замкнуто относительно суперпозиции и линейных операций, то .

Доказательство теоремы 2 заканчивается обращением к классической теореме Вейерштрасса о приближении функций многочленами: из лемм 1-3 следует, что в условиях теоремы 2 P является кольцом и, в частности, содержит все многочлены (которые получаются из 1 и id с помощью умножения и линейных операций). По теореме Вейерштрасса отсюда следует, что P=C(R) .

Теоремы 1,2 можно трактовать как утверждения о универсальных аппроксимационных свойствах любой нелинейности: с помощью линейных операций и каскадного соединения можно из произвольных нелинейных элементов получить любой требуемый результат с любой наперед заданной точностью.


Содержание раздела

---

---

---

Главная сайта

---