Смекни!
smekni.com

Чисельне розвязання задач оптимального керування (стр. 3 из 3)

то функція витрат за

кроків, що відповідає вимірній стратегії
, приводиться до звичайного вигляду
,

де стани

,
виражено як функції змінних
, ...,
за допомогою рівнянь (13) та початкового стану
.

Рекурентне співвідношення методу динамічного програмування для розв’язання багатоетапних задач оптимального стохастичного керування зі скінченним горизонтом можна записати так:

,
,

де

– щільність розподілу величини
.

4 Оптимальне стохастичне керування:мультиплікативний функціонал витрат

Розглянемо відображення

, що задане формулою

, (19)

за припущення, що параметр

приймає значення зі зліченної множини
відповідно до заданого розподілу ймовірностей, що залежать від стану
і керування
. Вважатимемо також, що
,
,
,
. Тоді відображення
з формули (14) задовольняє припущенню монотонності.

Якщо

,
, то задача оптимального керування з мультиплікативним функціоналом витрат і скінченним горизонтом
матиме такий вигляд:

, (20)

. (21)

а відповідна задача з нескінченним горизонтом:

, (22)

. (23)

Границя в (23) існує, якщо

:
або
.

Самостійний інтерес становить задача з експоненціальною функцією витрат

,

,

де

.

Для розв’язання багатоетапних задач оптимального стохастичного керування з мультиплікативним функціоналом витрат використовується таке рекурентне співвідношення алгоритму динамічного програмування:

,
,

де

– щільність розподілу величини
.

5. Мінімаксне керування

Розглянемо задачу керування системою, у якій некерованими впливами є стратегії супротивника (або явища природи)

,
, що обираються залежно від поточного стану
і керування
. Вважатимемо, що припустимі стратегії супротивника приймають значення із множини
,
. Будемо обчислювати стратегію керування
, орієнтуючись на найгіршу поведінку супротивника. Розглянемо відображення
, задане формулою

,

за таких припущень:

параметр

приймає значення з деякої множини
, а
– непуста підмножина
при будь-яких
,
;

функції

і
відображують множину
в множини
та
відповідно, тобто
,
;

скаляр

додатний.

За таких умов припущення про монотонність для відображення

має місце. Якщо при цьому
,
і
для всіх
,
,
, то відповідну
-крокову задачу мінімаксного керування можна сформулювати так:

, (17)

. (18)

Задача з нескінченним горизонтом формулюється аналогічно:

, (24)

. (25)

Границя у співвідношенні (25) існує при виконанні будь-якої з умов:

·

,
,
,
;

·

,
,
,
;

·

,
,
,
,
і деякого
.

Для розв’язання багатокрокових мінімаксних задач оптимального стохастичного керування рекурентне співвідношення алгоритму динамічного програмування використовується у такому вигляді:

,
,

,

.