Нейросети

Неплохая игрушка, дающая интуитивное понимание работы нейросетей. Запускаем это, там кружок с треугольником, смотрим как работает нейросетка. Потом это и наслаждаемся.

https://deep-econom.livejournal.com/61736.html

Что такое нейросеть?

Основной принцип нейросети это подбор параметров (весов) в универсальной модели представления зависимостей. Считайте, что нейросеть это универсальная функция, универсальный аппроксиматор любых зависимостей. В этом смысле обучение означает процедуру по подгонке (фитнесу) параметров универсального аппроксиматора. Это теоретические математические основы нейросетей, доказано математиками, есть теоремы.

Простыми словами, нейросеть всего лишь продвинутый калькулятор. Нейросеть это универсальный аппроксиматор (в том числе и универсальный классификатор) и ее многому можно научить, распознавать лица или номера машин и прочая, и прочая. Но это не ИИ и до ИИ ей (нейросетке) как до луны пешком.

Нейросеть это по своей сути полином, который в многомерном пространстве параметров разделяет гиперповерхностями многомерные точки на разные классы. Обучение это по сути подгонка или фиттинг коэффициентов полинома. Ничего таинственного в итоге. Процесс подгонки гиперповерхностей.

Конкретный вид нейрона (функции активации) не имеет значения, он должен реализовываться нелинейной, непрерывной и монотонной функцией, а вот конкретный вид неважен. В нейросети главное не вид нейрона, а возможность легко образовывать связи между нейронами, оказывается это весьма универсальное свойство. С помощью нейросетей можно аппроксимировать весьма широкий класс функций, есть соответствующие теоремы.

Горбань А.Н. Функции многих переменных и нейронные сети
А. Н. Горбань, “Обобщенная аппроксимационная теорема и вычислительные возможности нейронных сетей”
Воронцов. Лекции по искусственным нейронным сетям
В комментариях к посту дополнительная библиография

https://deep-econom.livejournal.com/102997.html

Нейронные сети являются универсальными аппроксиматорами функций

Лекции по искусственным нейронным сетям К. В. Воронцов 21 декабря 2007 г.

стр.12 Известна классическая теорема Вейерштрасса о том, что любую непрерывную функцию n переменных можно равномерно приблизить полиномом с любой степенью точности. Более общая теорема Стоуна утверждает, что любую непрерывную функцию на произвольном компакте X можно приблизить не только многочленом от исходных переменных, но и многочленом от любого конечного набора функций F, разделяющих точки.

На самом деле справедливо ещё более общее утверждение. Оказывается, вместо многочленов (суперпозиции операций сложения и умножения) можно пользоваться суперпозициями сложения и какой-нибудь (практически произвольной) непрерывной нелинейной функции одного аргумента [3]. Этот результат имеет прямое отношение к нейронным сетям, поскольку они строятся из операций сложения, умножения и нелинейных функций активации.

стр.12-13 Это интерпретируется как утверждение об универсальных аппроксимационных возможностях произвольной нелинейности: с помощью линейных операций и единственного нелинейного элемента ϕ можно получить устройство, вычисляющее любую непрерывную функцию с любой желаемой точностью. Однако данная теорема ничего не говорит о количестве слоёв нейронной сети (уровней вложенности суперпозиции) и о количестве нейронов, необходимых для аппроксимации произвольной функции. Таким образом, нейронные сети являются универсальными аппроксиматорами функций.

https://deep-econom.livejournal.com/105532.html