|
|
Видно, что достоинства и недостатки этих методов взаимно дополнительны, что делает привлекательной идею создания модификаций этих методов, объединяющих достоинства методов и свободных от их недостатков.
Модификацией градиентного метода является метод наискорейшего спуска:
, .
Модификация метода Ньютона с целью придания ему свойства глобальной сходимости возможна, например, способом регулировки длины шага:
.
Такой метод называют демпфированным методом Ньютона. Возможные подходы к способу выбора шага :
– Вычисление по формуле ;
– Итерационный алгоритм, заключающийся в последовательном дроблении шага на константу начиная со значения до выполнения условия , или условия , .
Демпфированный метод Ньютона глобально сходится для гладких сильно выпуклых функций.
Помимо одношаговых методов, к которым относятся градиентный метод и метод Ньютона, существует целый класс многошаговых методов, использующих для оптимизации информацию, полученную с предыдущих шагов. К ним относятся:
* Метод тяжелого шарика, использующий итерационную формулу , где , - некоторые параметры. Введение инерции движения (член ) в некоторых случаях приводит к ускорению сходимости за счет выравнивания движения по «овражистому» рельефу функции;
* Метод сопряженных градиентов. Здесь параметры оптимизации находятся из решения двумерной задачи оптимизации:
,
.
Кроме всех вышеперечисленных методов оптимизации существует еще класс методов, основанных на идее восстановления квадратичной аппроксимации функции по значениям ее градиентов в ряде точек. К ним относятся:
* Квазиньютоновские методы, имеющие общую структуру , где матрица пересчитывается рекуррентно на основе информации, полученной на k-й итерации, так что . К числу таких методов относятся ДФП (метод Давидона-Флетчера-Пауэлла) и BFGS или БФГШ (метод Бройдена-Флетчера-Гольдфарба-Шанно) [46].
* Методы переменной метрики и методы сопряженных направлений, согласно которым метод , , может рассматриваться как градиентный в метрике , а оптимальным выбором метрики является .
1.7 нейронные сети
В данной работе задачи распознавания образов и восстановления зависимостей будут решаться в основном с применением нейронных сетей. Обзор данной темы основан на [1]-[6], [8]-[15], [22],[23], [32]-[34], [36]-[41], [59], [64], [67]-[70], [83]-[88].
1.7.1 Основные элементы
Нейронная сеть представляет собой структуру взаимосвязанных клеточных автоматов, состоящую из следующих основных элементов:
Нейрон - элемент, преобразующий входной сигнал по функции:
где x - входной сигнал, c - параметр, определяющий крутизну графика пороговой функции, а cm - параметр спонтанной активности нейрона.
Сумматор - элемент, осуществляющий суммирование сигналов поступающих на его вход:
Синапс - элемент, осуществляющий линейную передачу сигнала:
где w - “вес” соответствующего синапса.
1.7.2 Структура сети
Сеть состоит из нейронов, соединенных синапсами через сумматоры по следующей схеме:
1.7.3 Прямое функционирование сети
Сеть функционирует дискретно по времени (тактами). Тогда синапсы можно разделить на “синапсы связи”, которые передают сигналы в данном такте, и на “синапсы памяти”, которые передают сигнал с выхода нейрона на его вход на следующем такте функционирования. Сигналы, возникающие в процессе работы сети разделяются на прямые (используемые при выдаче результата сетью) и двойственные (использующиеся при обучении) и могут быть заданы следующими формулами:
Для i-го нейрона на такте времени T:
где mi0 - параметр инциации сети, xi1 - входные сигналы сети, поступающие на данный нейрон, fiT - выходной сигнал нейрона на такте времени T, Ai1 - входной параметр i-го нейрона на первом такте функционирования сети, AiT - входной сигнал i-го нейрона на такте времени T, aji - вес синапса от j-го нейрона к i-му, aMi - вес синапся памяти i-го нейрона, ai1 - параметр нейрона и ai2 - параметр спонтанной активности нейрона, AiT-1 - входной сигнал i-го нейрона на такте T-1, fjT-1 - выходной сигнал j-го нейрона на такте T-1 и fiT,A - производная i-го нейрона по его входному сигналу.
Для синапса связи от i-го нейрона к j-му:
где sjT - входной сигнал синапса от i-го нейрона к j-му, fiT - выходной сигнал i-го нейрона, aij - вес данного синапса, sijT - выходной сигнал синапса на такте времени T.
Для синапса памяти i-го нейрона:
1.7.4 Обучение сети
В данной задаче обучение будет происходить по “коннекционистской” модели, то есть за счет подстройки весов синапсов.
Суть обучения состоит в минимизации функции ошибки , где W- карта весов синапсов. Для решения задачи минимизации необходимо вычисление градиента функции по подстраиваемым параметрам:
Страницы: 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17
При использовании материалов активная ссылка на источник обязательна.