Метод Дэвидона-Флетчера-Пауэлла (стр. 2 из 2)

(5)

По неравенству Шварца имеем (a^Ta)(b^Tb) ³ (a^Tb)². Таким образом, чтобы доказать, что x^TD_j+1x ³ 0, достаточно показать, что p_j^Tq_j > 0 и b^Tb > 0. Из (2) и (3) следует, что

p_j^Tq_j = l_jd_j^T[

f(y_j+1) – f(y_j)]. (6)

По предположению

f(y_j) ¹ 0, и D_j положительно определена, так что
f(y_j)^TD_j f(y_j) > 0. Кроме того, d_j – направление спуска, и, следовательно, l_j > 0. Тогда из (6) следует, что p_j^Tq_j > 0. Кроме того, q_j ¹ 0, и , следовательно, b^Tb= q_j^TD_jq_j > 0.

Покажем теперь, что x^TD_j+1x > 0. Предположим, что x^TD_j+1x = 0. Это возможно только в том случае, если (a^Ta)(b^Tb) = (a^Tb)² и p_j^Tx = 0. Прежде всего заметим, что
(a^Ta)(b^Tb) = (a^Tb)² только при a = lb, т.е. D_j^1/2x = lD_j^1/2q_j. Таким образом, x = lq_j. Так как x ¹ 0, то l ¹ 0. Далее, 0 = p_j^Tx = l p_j^Tq_j противоречит тому, что p_j^Tq_j > 0 и l ¹ 0. Следовательно, x^TD_j+1x > 0, т.е. матрица D_j+1 положительно определена.

Поскольку

f(y_j+1) ¹ 0 и D_j+1 положительно определена, имеем
f(y_j+1)^Td_j+1 = – f(y_j+1)^T D_j+1 f(y_j+1) < 0. Отсюда по теореме 1 следует, что d_j+1 – направление спуска.

Лемма доказана.

Квадратичный случай.

В дальнейшем нам понадобиться :

Теорема 2. Пусть f(x) = c^Tx + 1 x^THx, где Н - симметрическая матрица порядка n x n. Рассмотрим Н - сопряженные векторы d₁, …, d_n и произвольную точку x₁. Пусть l_k для k = 1, …, n - оптимальное решение задачи минимизации
f(x_k + ld_k) при l Î Е₁ и x_k+1 = x_k + ld_k. Тогда для k = 1, …, n справедливы следующие утверждения :

1.

f(x_k+1)^Td_j = 0, j = 1, …, k;

2.

f(x₁)^Td_k = f(x_k)^Td_k;

3. x_k+1 является оптимальным решением задачи минимизации f(x) при условии
x - x₁ Î L(d₁, …, d_k), где L(d₁, …, d_k) – линейное подпространство, натянутое на векторы d₁, …, d_k, то есть

В частности, x_n+1 – точка минимума функции f на Е_n.

Если целевая функция f квадратичная, то в соответствии со сформулированной ниже теоремой 3 направления d₁, …, d_n, генерируемые методом Дэвидона - Флетчера - Пауэлла, являются сопряженными. Следовательно, в соответствии с утверждением 3 теоремы 2 метод останавливается после завершения одной итерации в оптимальной точке. Кроме того, матрица D_n+1, полученная в конце итерации, совпадает с обратной к матрице Гессе Н.

Теорема 3. Пусть Н – симметричная положительно определенная матрица порядка n x n. Рассмотрим задачу минимизации f(x) = c^Tx + 1 x^THx при условии x Î E_n. Предположим, что задача решена методом Дэвидона - Флетчера - Пауэлла при начальной точке y₁ и начальной положительно определенной матрице D₁. В частности, пусть l_j, j = 1, …, n, – оптимальное решение задачи минимизации f(y_j + ld_j) при l ³ 0 и y_j+1 = y_j + l_jd_j, где d_j = -D_j

f(y_j), а D_j определяется по формулам (1) – (3). Если f(y_j) ¹ 0 для всех j, то направления
d₁, …, d_n являются Н - сопряженными и D_n+1 = H^-1. Кроме того, y_n+1 является оптимальным решением задачи.

Доказательство.

Прежде всего покажем, что для j, такого, что 1 £ j £ n, справедливы следующие утверждения :

1. d₁, …, d_j линейно независимы.

2. d_j^THd_k = 0 для i ¹ k; i, k £ j.

3. D_j+1Hp_k, или, что эквивалентно, D_j+1Hd_k = d_k для 1 £ k £ j, p_k = l_kd_k.

Проведем доказательство по индукции. Для j = 1 утверждения 1 и 2 очевидны. Чтобы доказать утверждение 3, заметим прежде всего, что для любого k справедливы равенства

Hp_k = H(l_kd_k) = H(y_k+1 - y_k) =

f(y_k+1) – f(y_k) = q_k. (7)

В частности, Hp₁ = q₁. Таким образом, полагая j = 1 в (1), получаем

,

т.е. утверждение 3 справедливо при j = 1.

Теперь предположим, что утверждения 1, 2 и 3 справедливы для j £ n – 1. Покажем, что они также справедливы и для j + 1. Напомним, что по утверждению 1 теоремы 2 d_i^T

f(y_j+1) = 0 для i £ j. По индуктивному предположению d_i = D_j+1Hd_i, i £ j. Таким образом, для i £ j имеем

0 = d_i^T

f(y_j+1) = d_i^THD_j+1 f(y_j+1) = –d_i^THd_j+1.

Ввиду предположения индукции это равенство показывает, что утверждение 2 также справедливо для j+1.

Теперь покажем, что утверждение 3 справедливо для j+1.

Полагая k £ j+1, имеем

. (8)

Учитывая (7) и полагая k = j + 1 в (8), получим, что D_j+2Hp_j+1 = p_j+1. Теперь пусть k £ j. Так как утверждение 2 справедливо для j + 1, то

p_j+1^THp_k = l_kl_j+1d_j+1^THd_k = 0. (9)

По предположению индукции из (7) и вследствие того, что утверждение 2 справедливо для j + 1, получаем

. (10)

Подставляя (9) и (10) в (8) и учитывая предположение индукции, получаем

.

Таким образом, утверждение 3 справедливо для j+1.

Осталось показать, что утверждение 1 справедливо для j+1. Предположим, что

. Умножая это равенство на и учитывая, что утверждение 2 справедливо для j+1, получаем, что . По условию теоремы , а по лемме 1 матрица положительно определена, так что . Так как H положительно определена, то и, следовательно, . Отсюда следует, что , и так как d₁, …, d_j линейно независимы по предположению индукции, то для i = 1, …, j. Таким образом, d₁, …, d_j+1 линейно независимы и утверждение 1 справедливо для j+1. Следовательно, утверждения 1, 2 и 3 выполняются. В частности сопряжённость d₁, …, d_n следует из утверждений 1 и 2, если положить j = n.

Пусть теперь j = n в утверждении 3. Тогда

для k = 1, …, n. Если в качестве D взять матрицу, столбцами которой являются векторы d₁, …, d_n, то . Так как D имеет обратную, то , что возможно только в том случае, если . Наконец, является оптимальным решением по теореме 2.

Теорема доказана.

Список литературы.

1. Базара М., Шетти К. «Нелинейное программирование. Теория и алгоритмы». М., 1982.

2. Химмельблау Д. «Прикладное нелинейное программирование». М., 1975.