Как было показано ранее, математическая формулировка динамических задач оптимального управления сводится к следующему. Имеется объект управления, состояние которого характеризуется многомерной переменной х={х1,…,xn}. Характер процессов в объекте управления можно изменять, используя то или иное упвление u из пространства допустимых правлений U. В общем случае управление u U может быть также многомерной величиной u={u1,...,um}. Характер движения объекта управления описывается системой дифференциальных уравнений х=g (х, u), х (0)=с.
За критерий качества управления принимается интегральная оценка вида
J(u)= ,имеющая физический смысл потерь, где Т- время протекания процесса управления, a Q[x(t), u(t)]=q(t) - мгновенные потери в момент t при состоянии системы x(t) и управлении u(t). Добавочными ограничениями могут быть ограничения, накладываемые на количество ресурсов или пределы изменения некоторых параметров, выражающиеся математически соотношением
.
Как было установлено ранее, оптимальным называется такое управление u* из множества допустимых управлений U, при котором для объекта, описываемого дифференциальным уравнением, и заданных огра-ничениях на используемые ресурсы критерий качества управления принимает минимальное (максимальное) значение.
Сформулированная подобным образом задача оптимального управления относится к классу вариационных задач, решением которых занимается раздел математики, получивший название вариационного исчисления. Величина J(u) получила название функционала. В отличие от функции, например, f(x), численные значения которой задаются на множестве значений аргумента х, численные значения функционала J(u) задаются на множестве всевозможных управлений u(t). Задача нахождения оптимального управления сводится к тому, чтобы из множества допустимых управлений U выбрать такое, при котором функционал J(t) принимает минимальное численное значение.
Преодоление рассмотренных трудностей решения вариационной задачи лежит на путях использования эффективных вычислительных методов, одним из которых является метод динамического программирования. Этот метод дает возможность находить оптимальное уп-равление в многошаговых задачах. Однако он может применяться и для решения вариационных задач, если их представить в дискретной форме.
Воспользовавшись теоремой, сформулируем вариационную задачу в следующем виде: для объекта, описываемого дифференциальным уравнением, x(t)=g(x,u), x(0)=c, найти управление u(t) из области допустимых управления U, которое минимизирует функционал
J(u)= , где Q(x,u)=Q1(x,u)+лH(x,u).
Дискретную форму записи этой задачи получим, если выбор управления u(t) будем производить только в дискретные моменты t=kд, k=0,n-1, где д=Т/n, При этом вместо функции x(t) и u(t) будем рассматривать последовательности
xk=x(t)|t=kд , uk=u(t)|t=kд .
Заменяя производную x=dx/dt на отношение приращений (xk+1-xk)/д, вместо дифференциального уравнения получаем уравнение в конечных разностях:
g(xk,uk)
Обычно это уравнение записывают в более удобной форме, разрешая его относительно хk+1: xk+1=xk+ g(xk,uk) д, k=0,n-1, x0=c.
При этом интеграл
J(u)=
заменится суммой
Jn(u)= ,
где под u понимается последовательность используемых управлений u=(u0,…,un-1)
Теперь задача заключается в выборе таких управлений ui, которые обеспечивают минимальное значение суммы.
Во многих задачах управления оказывается целесообразным считать д=1. В частности, это удобно делать в тех случаях, когда процесс естественным образом разбивается на отдельные шаги, причем в пределах каждого шага управление u(t) остается неизменным. При этом мы приходим к многошаговому процессу управления, рассмотренному ранее, в котором xk и uk означают состояние объекта и применяемое управление в начале каждого шага.
2.4.2.Рекуррентное соотношение метода динамического программирования
Оптимизация управления n-шагового процесса состоит в том, чтобы найти такую последовательность управлений ui, при которой критерий качества Jn(u) принимает минимальное значение. Это минимальное значение критерия качества управления n-шагового процесса будет зависеть только от начального состояния x0 и его можно обозначать fn(x0). По определению имеем:
fn(x0)=min min … min [Q(x0,u0)+ Q(x1,u1)+…+ Q(xn-1,un-1)].
Заметим, что первое слагаемое этого выражения Q(x0,u0) зависит только от управления u0, тогда как остальные слагаемые зависят как от u0, так и от управлений на других шагах. Так, Q(x1,u1) зависит от u1, но оно зависит и от u0, так как x1 =T(x0,u0). Аналогично обстоит дело и с остальными слагаемыми. Поэтому выражение можно записать в виде
fn(x0)=min {Q(x0,u0)+ min … min [Q(x1,u1)+…+ Q(xn-1,un-1)]}.
Заметим далее, что выражение min … min [Q(x1,u1)+…+ Q(xn-1,un-1)] представляет собой минимальное значение критерия качествa управления (n-1)-шагового процесса, имеющего начальное состояние х1. В соответствии с определением эту величину можем обозначить через fn-1(x1). Таким образом, получаем: fn(x0)=min {Q(x0,u0)+ fn-1(x1)}.
Эти рассуждения можно повторить, если рассмотреть (n-1)-шаговый процесс, начинающийся с начального состояния x1. Минимальное значение критерия качества управления для этого случая fn-1(x1)=min {Q(x1,u1)+ fn-2(x2)}.
Продолжая эти рассуждения, получаем аналогичное выражение для (n -k) -шагового процесса, начинающегося с состояния xk:
fn-k(xk)=min {Q(xk,uk)+ fn-(k+1)(xk+1)}.
Последнее уравнение, называемое часто уравнением Беллмана, представляет собой рекуррентное соотношение, позволяющее последовательно определять оптимальное управление на каждом шаге управляемого процесса.
Сама идея оптимизации управления на каждом шаге отдельно, если трудно оптимизировать сразу весь про-цесс в целом, не является оригинальной и широко используется на практике. Однако при этом часто не при-нимают во внимание, что оптимизация каждого шага еще не означает оптимизацию всего процесса в целом.
Особенностью метода динамического программирования является то, что оно совмещает простоту решения задачи оптимизации управления на отдельном шаге с дальновидностью, заключающейся в учете самых отда-ленных последствий этого шага.
В методе динамического программирования выбор управления на отдельном шаге производится не с точки зрения интересов данного шага, выражающихся в минимизации потерь на данном шаге, т.е. величины Q(xk,uk), а с точки зрения интересов всего процесса в целом, выражающихся в минимизации суммарных потерь Q(xk,uk)+ fn-(k+1)(xk+1) на всех последующих шагах. Отсюда следует основное свойство оптимального процесса, заключающееся в том, что каковы бы ни были начальное состояние и начальное управление, последующие управления должны быть оптимальными относительно состояния, являющегося результатом применения первого управления.
Из основного свойства оптимального управления следует, что оптимизация управления для произвольной стадии многошагового процесса заключается в выборе только последующих управлений. Поэтому бывает удобно учитывать не те шаги, которые уже были пройдены, а те, которые осталось проделать, для того чтобы привести процесс в конечное состояние.
2.5. Вариационная задача условной минимизации для условий в виде равенств
Рассматриваемая задача состоит в определении управляющих воздействий u(t) минимизирующих (или максимизирую-щих) показатель качества J.
Объект управления описы-вается уравнениями: x=q(x,u,t),
y=g(x,t).
Составляющие q, g предполагаются непрерывными по х и u и не-прерывно дифференцируемыми по х. Объект управления предполагается управляемым и наблюдаемым, т.е. все переменные состояния доступны измерению и возбуждается любое из состояний управляемого объекта.
Если переменные функции не являются независимыми, а подчинены ограничениям типа равенств, т. е. f(x)=0, то необходимые условия экстремума определяются методом множителей Лагранжа.
Пусть целевая функция имеет вид:
J= min, при условиях x(t0)=x0 , x(tf)=xf , t [t0,tf], x(t)Rn,
при ограничениях fi(x(t),x(t),t)=0, i=1,m.
Задача решается методом множителей Лагранжа:
запишем лагранжиан
J=+лi(t)fi(x(t),x(t),t)] dt min по x(t), л(t).
Запишем более в компактном виде:
J==min по z(t), где z(t)=.
Первым необходимым условием экстремума функционала J является дJ=0.
Производя рассуждения аналогичные вышеизложенным получаем уравнение:
=0, i=1,n+m.
Это уравнение называется уравнением Эйлера-Лагранжа.
Страницы: 1, 2