Классические методы безусловной оптимизации (стр. 3 из 5)
Пусть точка
- точка безусловного экстремума функции 
, тогда, как известно, 
, 
, или 
(полный дифференциал функции в точке ).Используя концепция зависимых и независимых переменных
- зависимые переменные; 
- независимые переменные, тогда представим (5) в развернутом виде: 
(5')Из (2) с очевидностью следует система уравнений вида:
, 
(6)Результат вычисления полного дифференциала для каждой из функций
Представим (6) в "развернутом" виде, используя концепцию зависимых и независимых переменных:
, (6')Заметим, что (6') в отличии от (5') представляет собой систему, состоящую из
уравнений.Умножим каждое
-ое уравнение системы (6') на соответствующий -ый множитель Лагранжа. Сложим их между собой и с уравнением (5') и получим выражение:
(7)Распорядимся множителями Лагранжа
таким образом, чтобы выражение в квадратных скобках под знаком первой суммы (иными словами, коэффициенты при дифференциалах независимых переменных 
, 
) равнялось нулю.Термин "распорядимся" множителями Лагранжа вышеуказанным образом означает, что необходимо решить некоторую систему из
уравнений относительно .Структуру такой системы уравнений легко получить приравняв выражение в квадратной скобке под знаком первой суммы нулю:
, (8)Перепишем (8) в виде
, (8')Система (8') представляет собой систему из
линейных уравнений относительно известных: . Система разрешима, если 
(вот почему, как и в методе исключения в рассматриваемом случае должно выполняться условие ). (9)Поскольку в ключевом выражении (7) первая сумма равна нулю, то легко понять, что и вторая сумма будет равняться нулю, т.е. имеет место следующая система уравнений:
(10)Система уравнений (8) состоит из
уравнений, а система уравнений (10) состоит из 
уравнений; всего 
уравнений в двух системах, а неизвестных 
: 
, 
Недостающие
уравнений дает система уравнений ограничений (2): 
, Итак, имеется система из
уравнений для нахождения неизвестных: 
(11)Полученный результат – система уравнений (11) составляет основное содержание ММЛ.
Легко понять, что систему уравнений (11) можно получить очень просто, вводя в рассмотрение специально сконструированную функцию Лагранжа (3).
Действительно
, (12) 
, (13)Итак, система уравнений (11) представима в виде (используя (12), (13)):
(14)Система уравнений (14) представляет необходимое условие в классической задаче условной оптимизации.
Найденное в результате решение этой системы значение вектора
называется условно-стационарной точкой.Для того, чтобы выяснить характер условно-стационарной точки
необходимо воспользоваться достаточными условиями.5.3 Достаточные условия в классической задаче условной оптимизации. Алгоритм ММЛ
Эти условия позволяют выяснить, является ли условно-стационарная точка
точкой локального условного минимума, или точкой локального условного максимума.Относительно просто, подобно тому, как были получены достаточные условия в задаче на безусловный экстремум. Можно получить достаточные условия и в задаче классической условной оптимизации.
Результат этого исследования:
где
- точка локального условного минимума. 
где
- точка локального условного максимума, 
- матрица Гессе с элементами 
, 
Матрица Гессе
имеет размерность 
.Размерность матрицы Гессе
можно уменьшить, используя условие неравенства нулю якобиана: 
. При этом условии можно зависимые переменные 
выразить через независимые переменные 
, тогда матрица Гессе будет иметь размерность 
, т.е. необходимо говорить о матрице 
с элементами 
, 