то функція витрат за

кроків, що відповідає вимірній стратегії

, приводиться до звичайного вигляду

,
де стани

,

виражено як функції змінних

, ...,

за допомогою рівнянь (13) та початкового стану

.
Рекурентне співвідношення методу динамічного програмування для розв’язання багатоетапних задач оптимального стохастичного керування зі скінченним горизонтом можна записати так:

,

,

де

– щільність розподілу величини

.
4 Оптимальне стохастичне керування:мультиплікативний функціонал витрат
Розглянемо відображення

, що задане формулою

, (19)
за припущення, що параметр

приймає значення зі зліченної множини

відповідно до заданого розподілу ймовірностей, що залежать від стану

і керування

. Вважатимемо також, що

,

,

,

. Тоді відображення

з формули (14) задовольняє припущенню монотонності.
Якщо

,

, то задача оптимального керування з мультиплікативним функціоналом витрат і скінченним горизонтом

матиме такий вигляд:

, (20)

. (21)
а відповідна задача з нескінченним горизонтом:

, (22)

. (23)
Границя в (23) існує, якщо

:

або

.
Самостійний інтерес становить задача з експоненціальною функцією витрат

,

,
де

.
Для розв’язання багатоетапних задач оптимального стохастичного керування з мультиплікативним функціоналом витрат використовується таке рекурентне співвідношення алгоритму динамічного програмування:

,

,

де

– щільність розподілу величини

.
5. Мінімаксне керування
Розглянемо задачу керування системою, у якій некерованими впливами є стратегії супротивника (або явища природи)

,

, що обираються залежно від поточного стану

і керування

. Вважатимемо, що припустимі стратегії супротивника приймають значення із множини

,

. Будемо обчислювати стратегію керування

, орієнтуючись на найгіршу поведінку супротивника. Розглянемо відображення

, задане формулою

,
за таких припущень:
параметр

приймає значення з деякої множини

, а

– непуста підмножина

при будь-яких

,

;
функції

і

відображують множину

в множини

та

відповідно, тобто

,

;
скаляр

додатний.
За таких умов припущення про монотонність для відображення

має місце. Якщо при цьому

,

і

для всіх

,

,

, то відповідну

-крокову задачу мінімаксного керування можна сформулювати так:

, (17)

. (18)
Задача з нескінченним горизонтом формулюється аналогічно:

, (24)

. (25)
Границя у співвідношенні (25) існує при виконанні будь-якої з умов:
·

,

,

,

;
·

,

,

,

;
·

,

,

,

,

і деякого

.
Для розв’язання багатокрокових мінімаксних задач оптимального стохастичного керування рекурентне співвідношення алгоритму динамічного програмування використовується у такому вигляді:

,

,

,

.