Метод Дэвидона-Флетчера-Пауэлла

Метод Дэвидона-Флетчера-Пауэлла

Министерство науки, высшей школы и технической

политики Российской Федерации.

Новосибирский Государственный

Технический Университет.

[pic]

Реферат по исследованию операций на тему

«Метод Дэвидона - Флетчера - Пауэлла».

Вариант №2.

Факультет: АВТ.

Кафедра: АСУ.

Группа: АС-513.

Студент: Бойко Константин Анатольевич.

Преподаватель: Ренин Сергей Васильевич.

Дата: 19 октября 1997 года.

Новосибирск

Введение.

Первоначально метод был предложен Дэвидоном (Davidon [1959] ), а затем

развит Флетчером и Пауэллом (Fletcher, Powell [1963] ). Метод Дэвидона -

Флетчера - Пауэлла называют также и методом переменной метрики. Он попадает

в общий класс квазиньютоновских процедур, в которых направления поиска

задаются в виде -Dj[pic]f(y). Направление градиента является, таким

образом, отклоненным в результате умножения на -Dj , где Dj - положительно

определенная симметрическая матрица порядка n ( n, аппроксимирующая

обратную матрицу Гессе. На следующем шаге матрица Dj+1 представляется в

виде суммы Dj и двух симметрических матриц ранга один каждая. В связи с

этим схема иногда называется схемой коррекции ранга два.

Алгоритм Дэвидона - Флетчера - Пауэлла.

Рассмотрим алгоритм Дэвидона - Флетчера - Пауэлла минимизации

дифференцируемой функции нескольких переменных. В частности, если функция

квадратичная, то, как будет показано позднее, метод вырабатывает

сопряженные направления и останавливается после выполнения одной итерации,

т.е. после поиска вдоль каждого из сопряженных направлений.

Начальный этап.

Пусть [pic](0 - константа для остановки. Выбрать точку х1 и начальную

симметрическую положительно определенную матрицу D1. Положить y1 = x1, k =

j = 1 и перейти к основному этапу.

Основной этап.

Шаг 1. Если (([pic]f(yj) ((( (, то остановиться; в противном случае

положить dj = - Dj[pic]f(yj) и взять в качестве (j оптимальное решение

задачи минимизации f(yj + (dj) при ( ( 0. Положить yj+1 = yj + (jdj. Если j

( n, то перейти к шагу 2. Если j = n, то положить y1 = xk+1 = yn+1,

заменить k на k+1, положить j=1 и повторить шаг 1.

Шаг 2. Построить Dj+1 следующим образом :

[pic], (1)

где

pj = (jdj, (2)

qj = [pic]f(yj+1) - [pic]f(yj).

(3)

Заменить j на j + 1 и перейти к шагу 1.

Пример.

Рассмотрим следующую задачу :

минимизировать (x1 - 2)4 + (x1 - 2x2)2.

Результаты вычислений методом Дэвидона - Флетчера - Пауэлла приведены

в таблице 1.

Таблица 1. Результаты вычислений по методу Дэвидона - Флетчера - Пауэлла.

|k|xk |j|yj |[pic]f(|(([pic]f|D |dj |(j |yj+1 |

| |f(xk) | |f(yj) |yj) |(yj) (( | | | | |

|1|(0.00, |1|(0.00, |(-44.00|50.12 |[pic] |(44.00, |0.06|(2.70, |

| |3.00) | |3.00) |, | |[pic] |-24.00) |2 |1.51) |

| |(52.00)| |(52.00)|24.00) | | | | | |

| | | | | |1.47 | | | | |

| | |2| | | | |(-0.67, |0.22|(2.55, |

| | | |(2.70, |(0.73, | | |-1.31) | |1.22) |

| | | |1.51) |1.28) | | | | | |

| | | |(0.34) | | | | | | |

|2|(2.55, |1|(2.55, |(0.89, |0.99 |[pic] |(-0.89, |0.11|(2.45, |

| |1.22) | |1.22) |-0.44) | |[pic] |0.44) | |1.27) |

| |(0.1036| |(0.1036| | | | | | |

| |) | |) | |0.40 | | | | |

| | |2| |(0.18, | | |(-0.28, |0.64|(2.27, |

| | | |(2.45, |0.36) | | |-0.25) | |1.11) |

| | | |1.27) | | | | | | |

| | | |(0.0490| | | | | | |

| | | |) | | | | | | |

|3|(2.27, |1|(2.27, |(0.18, |0.27 |[pic] |(-0.18, |0.10|(2.25, |

| |1.11) | |1.11) |-0.20) | |[pic] |0.20) | |1.13) |

| |(0.008)| |(0.008)| | | | | | |

| | | | | |0.06 | | | | |

| | |2| |(0.04, | | |(-0.05, |2.64|(2.12, |

| | | |(2.25, |0.04) | | |-0.03) | |1.05) |

| | | |1.13) | | | | | | |

| | | |(0.004)| | | | | | |

|4|(2.12, |1|(2.12, |(0.05, |0.09 |[pic] |(-0.05, |0.10|(2.115, |

| |1.05) | |1.05) |-0.08) | | |0.08) | |1.058) |

| |(0.0005| |(0.0005| | | | | | |

| |) | |) | |0.006 | | | | |

| | |2| |(0.004,| | | | | |

| | | |(2.115,|0.004) | | | | | |

| | | |1.058) | | | | | | |

| | | |(0.0002| | | | | | |

| | | |) | | | | | | |

На каждой итерации вектор dj для j = 1, 2 определяется в виде

–Dj[pic]f(yj), где D1 – единичная матрица, а D2 вычисляется по формулам (1)

- (3). При

k = 1 имеем p1 = (2.7, -1.49)T, q1 = (44.73, -22,72)T. На второй итерации

p1 = (-0.1, 0.05)T, q1 = (-0.7, 0.8)T и, наконец, на третьей итерации

p1 = (-0.02, 0.02)T, q1 = (-0.14, 0.24)T. Точка yj+1 вычисляется

оптимизацией вдоль направления dj при начальной точке yj для j = 1, 2.

Процедура остановлена в точке

y2 = (2.115, 1.058)T на четвертой итерации, так как норма ((f(y2) ((= 0.006

достаточно мала. Траектория движения, полученная методом, показана на

рисунке 1.

Рисунок 1. Метод Дэвидона - Флетчера - Пауэлла.

[pic]

Лемма 1 показывает, что каждая матрица Dj положительно определена и dj

является направлением спуска.

Для доказательства леммы нам понадобится :

Теорема 1. Пусть S - непустое множество в Еn, точка x ( cl S. Конусом

возможных направлений в точке x называется множество D = {d : d ( 0, x

+ (d ( S при всех ( ( (0, () для некоторого ( > 0}.

Определение. Пусть x и y - векторы из Еn и (xTy( - абсолютное значение

скалярного произведения xTy. Тогда выполняется следующее неравенство,

называемое неравенством Шварца : (xTy( ( ((x(( ((y((.

Лемма 1.

Пусть y1 ( Еn, а D1 – начальная положительно определенная

симметрическая матрица. Для j = 1, ..., n положим yj+1 = yj + (jdj, где dj

= –Dj[pic]f(yj), а (j является оптимальным решением задачи минимизации f(yj

+ (dj) при ( ( 0. Пусть, кроме того, для

j = 1, ..., n – 1 матрица Dj+1 определяется по формулам (1) - (3). Если

[pic]f(yj) ( 0 для

j = 1, ..., n, то матрицы D1, ..., Dn симметрические и положительно

определенные, так что d1, ..., dn – направления спуска.

Доказательство.

Проведем доказательство по индукции. При j = 1 матрица D1

симметрическая и положительно определенная по условию леммы. Кроме того,

[pic]f(y1)Td1 = –[pic]f(y1)TD1[pic]f(y1) ( 0, так как D1 положительно

определена. Тогда по теореме 1 вектор d1 определяет направление спуска.

Предположим, что утверждение леммы справедливо для некоторого j ( n – 1, и

покажем, что оно справедливо для j+1. Пусть x – ненулевой вектор из En,

тогда из (1) имеем

[pic] (4)

Так как Dj – симметрическая положительно определенная матрица, то

существует положительно определенная матрица Dj1/2, такая, что Dj =

Dj1/2Dj1/2. Пусть

a = Dj1/2x и b = Dj1/2qj. Тогда xTDjx = aTa, qjTDjqj = bTb и xTDjqj = aTb.

Подставляя эти выражения в (4), получаем :

[pic] (5)

По неравенству Шварца имеем (aTa)(bTb) ( (aTb)2. Таким образом, чтобы

доказать, что xTDj+1x ( 0, достаточно показать, что pjTqj ( 0 и bTb ( 0.

Из (2) и (3) следует, что

pjTqj = (jdjT[[pic]f(yj+1) – [pic]f(yj)].

(6)

По предположению[pic]f(yj) ( 0, и Dj положительно определена, так что

[pic]f(yj)TDj[pic]f(yj) ( 0. Кроме того, dj – направление спуска, и,

следовательно, (j ( 0. Тогда из (6) следует, что pjTqj ( 0. Кроме того, qj

( 0, и , следовательно, bTb= qjTDjqj ( 0.

Покажем теперь, что xTDj+1x ( 0. Предположим, что xTDj+1x = 0. Это

возможно только в том случае, если (aTa)(bTb) = (aTb)2 и pjTx = 0. Прежде

всего заметим, что

(aTa)(bTb) = (aTb)2 только при a = (b, т.е. Dj1/2x = (Dj1/2qj. Таким

образом, x = (qj. Так как x ( 0, то ( ( 0. Далее, 0 = pjTx = ( pjTqj

противоречит тому, что pjTqj ( 0 и ( ( 0. Следовательно, xTDj+1x > 0, т.е.

матрица Dj+1 положительно определена.

Поскольку [pic]f(yj+1) ( 0 и Dj+1 положительно определена, имеем

[pic]f(yj+1)Tdj+1 = –[pic]f(yj+1)T Dj+1[pic]f(yj+1) < 0. Отсюда по теореме

1 следует, что dj+1 – направление спуска.

Лемма доказана.

Квадратичный случай.

В дальнейшем нам понадобиться :

Теорема 2. Пусть f(x) = cTx + ( xTHx, где Н - симметрическая матрица

порядка n x n. Рассмотрим Н - сопряженные векторы d1, …, dn и

произвольную точку x1. Пусть (k для k = 1, …, n - оптимальное решение

задачи минимизации

f(xk + (dk) при ( ( Е1 и xk+1 = xk + (dk. Тогда для k = 1, …, n

справедливы следующие утверждения :

1. [pic]f(xk+1)Tdj = 0, j = 1, …, k;

2. [pic]f(x1)Tdk = [pic]f(xk)Tdk;

3. xk+1 является оптимальным решением задачи минимизации f(x) при

условии

x - x1 ( L(d1, …, dk), где L(d1, …, dk) – линейное

подпространство, натянутое на векторы d1, …, dk, то есть [pic] В

частности, xn+1 – точка минимума функции f на Еn.

Если целевая функция f квадратичная, то в соответствии со

сформулированной ниже теоремой 3 направления d1, …, dn, генерируемые

методом Дэвидона - Флетчера - Пауэлла, являются сопряженными.

Следовательно, в соответствии с утверждением 3 теоремы 2 метод

останавливается после завершения одной итерации в оптимальной точке. Кроме

того, матрица Dn+1, полученная в конце итерации, совпадает с обратной к

матрице Гессе Н.

Теорема 3. Пусть Н – симметричная положительно определенная матрица

порядка n x n. Рассмотрим задачу минимизации f(x) = cTx + ( xTHx при

условии x ( En. Предположим, что задача решена методом Дэвидона -

Флетчера - Пауэлла при начальной точке y1 и начальной положительно

определенной матрице D1. В частности, пусть (j, j = 1, …, n, –

оптимальное решение задачи минимизации f(yj + (dj) при ( ( 0 и yj+1 =

yj + (jdj, где dj = -Dj[pic]f(yj), а Dj определяется по формулам (1) –

(3). Если [pic]f(yj) ( 0 для всех j, то направления

d1, …, dn являются Н - сопряженными и Dn+1 = H-1. Кроме того, yn+1

является оптимальным решением задачи.

Доказательство.

Прежде всего покажем, что для j, такого, что 1 ( j ( n, справедливы

следующие утверждения :

1. d1, …, dj линейно независимы.

2. djTHdk = 0 для i ( k; i, k ( j.

3. Dj+1Hpk, или, что эквивалентно, Dj+1Hdk = dk для 1 ( k ( j, pk =

(kdk.

Проведем доказательство по индукции. Для j = 1 утверждения 1 и 2

очевидны. Чтобы доказать утверждение 3, заметим прежде всего, что для

любого k справедливы равенства

Hpk = H((kdk) = H(yk+1 - yk) = [pic]f(yk+1) –[pic]f(yk) = qk.

(7)

В частности, Hp1 = q1. Таким образом, полагая j = 1 в (1), получаем

[pic],

т.е. утверждение 3 справедливо при j = 1.

Теперь предположим, что утверждения 1, 2 и 3 справедливы для j ( n –

1. Покажем, что они также справедливы и для j + 1. Напомним, что по

утверждению 1 теоремы 2 diT[pic]f(yj+1) = 0 для i ( j. По индуктивному

предположению di = Dj+1Hdi, i ( j. Таким образом, для i ( j имеем

0 = diT[pic]f(yj+1) = diTHDj+1[pic]f(yj+1) = –diTHdj+1.

Ввиду предположения индукции это равенство показывает, что

утверждение 2 также справедливо для j+1.

Теперь покажем, что утверждение 3 справедливо для j+1.

Полагая k ( j+1, имеем

[pic]. (8)

Учитывая (7) и полагая k = j + 1 в (8), получим, что Dj+2Hpj+1 =

pj+1. Теперь пусть k ( j. Так как утверждение 2 справедливо для j + 1, то

pj+1THpk = (k(j+1dj+1THdk = 0. (9)

По предположению индукции из (7) и вследствие того, что утверждение 2

справедливо для j + 1, получаем

[pic] . (10)

Подставляя (9) и (10) в (8) и учитывая предположение индукции,

получаем

[pic].

Таким образом, утверждение 3 справедливо для j+1.

Осталось показать, что утверждение 1 справедливо для j+1.

Предположим, что [pic]. Умножая это равенство на [pic]и учитывая, что

утверждение 2 справедливо для j+1, получаем, что [pic]. По условию теоремы

[pic], а по лемме 1 матрица [pic] положительно определена, так что [pic].

Так как H положительно определена, то [pic] и, следовательно, [pic]. Отсюда

следует, что [pic], и так как d1, …, dj линейно независимы по предположению

индукции, то [pic] для i = 1, …, j. Таким образом, d1, …, dj+1 линейно

независимы и утверждение 1 справедливо для j+1. Следовательно, утверждения

1, 2 и 3 выполняются. В частности сопряжённость d1, …, dn следует из

утверждений 1 и 2, если положить j = n.

Пусть теперь j = n в утверждении 3. Тогда [pic] для k = 1, …, n. Если

в качестве D взять матрицу, столбцами которой являются векторы d1, …, dn,

то [pic]. Так как D имеет обратную, то [pic], что возможно только в том

случае, если [pic]. Наконец, [pic] является оптимальным решением по теореме

2.

Теорема доказана.

Список литературы.

1. Базара М., Шетти К. «Нелинейное программирование. Теория и алгоритмы».

М., 1982.

Химмельблау Д. «Прикладное нелинейное программирование». М., 1975.