Нейроинформатика

       

Тензорные сети


Для увеличения числа линейно независимых эталонов, не приводящих к прозрачности сети, используется прием перехода к тензорным или многочастичным сетям [8.3, 8.4, 8.5, 8.6, 8.7].

Тензорным произведением

-мерных векторов
называется

-индексная величина

у которой все индексы независимо пробегают весь набор значений от единицы до
а
-ой тензорной степенью вектора
будем называть вектор
полученный как тензорное произведение
векторов
Вектор
является
-мерным вектором. Однако пространство
имеет размерность, не превышающую величину
где
- число сочетаний из
по

Теорема. При k < n в ранг

множества
равен:


Рис. 8.2.  "Тензорный" треугольник Паскаля

Небольшая модернизация треугольника Паскаля, позволяет легко вычислять эту величину. На рис. 8.2 приведен "тензорный" треугольник Паскаля. При его построении использованы следующие правила:

  1. Первая строка содержит двойку, поскольку при n=2 в множестве X всего два неколлинеарных вектора.
  2. При переходе к новой строке, первый элемент получается добавлением единицы к первому элементу предыдущей строки, второй - как сумма первого и второго элементов предыдущей строки, третий - как сумма второго и третьего элементов и т.д. Последний элемент получается удвоением последнего элемента предыдущей строки.

Таблица 8.1.

nknkCk - 1n + k - 1rn,k
52251511
31253515
1031 000220130
61 000 0005005466
8100 000 00024310511

В таблица 8.1 приведено сравнение трех оценок информационной емкости тензорных сетей для некоторых значений n и k. Первая оценка -

- заведомо завышена, вторая -
- дается формулой Эйлера для размерности пространства симметричных тензоров и третья - точное значение

Как легко видеть из таблицы таблица 8.1, уточнение при переходе к оценке

является весьма существенным. С другой стороны, предельная информационная емкость тензорной сети (число правильно воспроизводимых образов) может существенно превышать число нейронов, например, для 10 нейронов тензорная сеть валентности 8 имеет предельную информационную емкость 511.


Легко показать, что если множество векторов
не содержит взаимно обратных, то размерность пространства
равна числу векторов в множестве
Сеть (2) для случая тензорных сетей имеет вид



(9)
а ортогональная тензорная сеть



(10)
где
- элемент матрицы


Сеть (9) хорошо работает на слабо скоррелированных эталонах, а сеть (10) не чувствительна к степени скоррелированности эталонов.


Содержание раздела