то функція витрат за
кроків, що відповідає вимірній стратегії , приводиться до звичайного виглядуде стани
, виражено як функції змінних , ..., за допомогою рівнянь (13) та початкового стану .Рекурентне співвідношення методу динамічного програмування для розв’язання багатоетапних задач оптимального стохастичного керування зі скінченним горизонтом можна записати так:
, ,де
– щільність розподілу величини .Розглянемо відображення
, що задане формулою , (19)за припущення, що параметр
приймає значення зі зліченної множини відповідно до заданого розподілу ймовірностей, що залежать від стану і керування . Вважатимемо також, що , , , . Тоді відображення з формули (14) задовольняє припущенню монотонності.Якщо
, , то задача оптимального керування з мультиплікативним функціоналом витрат і скінченним горизонтом матиме такий вигляд: , (20) . (21)а відповідна задача з нескінченним горизонтом:
, (22) . (23)Границя в (23) існує, якщо
: або .Самостійний інтерес становить задача з експоненціальною функцією витрат
, ,де
.Для розв’язання багатоетапних задач оптимального стохастичного керування з мультиплікативним функціоналом витрат використовується таке рекурентне співвідношення алгоритму динамічного програмування:
, ,де
– щільність розподілу величини .Розглянемо задачу керування системою, у якій некерованими впливами є стратегії супротивника (або явища природи)
, , що обираються залежно від поточного стану і керування . Вважатимемо, що припустимі стратегії супротивника приймають значення із множини , . Будемо обчислювати стратегію керування , орієнтуючись на найгіршу поведінку супротивника. Розглянемо відображення , задане формулою ,за таких припущень:
параметр
приймає значення з деякої множини , а – непуста підмножина при будь-яких , ;функції
і відображують множину в множини та відповідно, тобто , ;скаляр
додатний.За таких умов припущення про монотонність для відображення
має місце. Якщо при цьому , і для всіх , , , то відповідну -крокову задачу мінімаксного керування можна сформулювати так: , (17) . (18)Задача з нескінченним горизонтом формулюється аналогічно:
, (24) . (25)Границя у співвідношенні (25) існує при виконанні будь-якої з умов:
·
, , , ;·
, , , ;·
, , , , і деякого .Для розв’язання багатокрокових мінімаксних задач оптимального стохастичного керування рекурентне співвідношення алгоритму динамічного програмування використовується у такому вигляді:
, , , .