Адаптивное параметрическое оценивание квадратно-корневыми информационными алгоритмами

Содержание

Введение………………………………………………………………………………….….	3
1. Общие выкладкииз теории……………………………………………………………...	6
1.1. Общаяпостановкапроблемыидентификации………..…………………………	6
1.2. Оценкимаксимальногоправдоподобия…………………………………………	7
1.3. Методыминимизациифункций многихпеременных…………….…………….	9
1.4. Методквадратно-корневогоинформационногофильтра(ККИФ)...…………...	11
2. Оцениваниепараметровпо методумаксимальногоправдоподобияс использова-ниемквадратно-корневыхинформационныхфильтров……………….………………...	13
2.1. Постановказадачи...………………………………………………………………	13
2.2. Функцияправдоподобияи ее представлениев терминахККИФ……………...	15
2.3. Градиентфункции максимальногоправдоподобия…………………………….	18
2.4. ЗначенияпроизводныхпеременныхККИФ…………………………………….	20
2.5. Описаниеалгоритма..……………………………………………………………..	23
3. Экспериментыи выводы...………………………………………………………….…...	26
Заключение…………………………………………………………………………….……	55
Списокиспользуемойлитературы………………………………………………………...	56

Введение

С давних порчеловечествозатрачиваетогромные усилияна установлениезакономерностейпроисходящихв природе явлений.Первичным впроцессе познаниявсегда являютсярезультатынаблюдений.Они представляютсобой отправнойпункт к модели,к абстрактномумышлению, а ужеот моделиосуществляетсяпереход кпрактическойдеятельности.Очевидно, чтоэта схема познанияпримениманезависимоот того, идетли речь о естественномили искусственномобъекте. Созданиеабстрактноймодели обычносвязано со«сжатием»информации,содержащейсяв результатахнаблюдений.Это объясняетсятем, что каждыйотдельныйрезультатнаблюденийявляется случайным,поэтому построениеадекватноймодели реальногообъекта можетбыть осуществленотолько на основемногократныхнаблюдений.Случайностькаждого результатанаблюденийобъясняется,с одной стороны,принципиальнойневозможностьюучесть всемногообразиефакторов, действующихна данный конкретныйобъект, какимбы простым онни казался напервый взгляд,и сложнымивзаимосвязямиэтих факторов,а с другой стороны,несовершенствоместественныхили искусственныхсредств наблюдения.

Построениемодели по результатамнаблюденийпредставляетсобой формализацию,необходимуюдля определенияосновных признаков,связей, закономерностей,присущихобъекту-оригиналу,и отсеиваниявторостепенныхпризнаков. Вомногих случаяхмодель, принятаяпри проектировании,существенноотличаетсяот реальногообъекта, чтозначительноуменьшает илисводит на нетэффективностьразработаннойсистемы управления.В связи с этимвозникло одноиз новых и важныхнаправленийв теории управления,связанное спостроениеммодели на основаниинаблюдений,полученныхв условияхфункционированияобъекта по еговходным и выходнымпеременным.Это направлениеизвестно внастоящее времякак идентификациясистем.

Задача идентификацииформулируетсяследующимобразом: порезультатамнаблюденийнад входнымии выходнымипеременнымисистемы должнабыть построенаоптимальнаяв некоторомсмысле модель,т.е. формализованноепредставлениеэтой системы.

В зависимостиот априорнойинформацииоб объектеуправленияразличаютзадачи идентификациив узком и широкомсмысле. Задачаидентификациив узком смыслесостоит в оцениваниипараметрови состояниясистемы порезультатамнаблюденийнад входнымии выходнымипеременными,полученнымив условияхфункционированияобъекта. Приэтом известнаструктурасистемы и заданкласс моделей,к которомуданный объектотносится.Априорнаяинформацияоб объектедостаточновелика.

Априорнаяинформацияоб объекте приидентификациив широком смыслеотсутствуетили очень бедная,поэтому приходитсяпредварительнорешать большоечисло дополнительныхзадач. К этимзадачам относятся:выбор структурысистемы и заданиекласса моделей,оцениваниестепени стационарностии линейностиобъекта и действующихпеременных,оцениваниестепени и формывлияния входныхпеременныхна выходные,выбор информативныхпеременныхи др. К настоящемувремени накопленбольшой опытрешения задачидентификациив узком смысле.Методы же решениязадач идентификациив широком смысленачали разрабатыватьсятолько в последниегоды, и здесьрезультатызначительноскромнее, чтов первую очередьможно объяснитьчрезвычайнойтрудностьюзадачи.

Цельюданной дипломнойработы являетсяисследованиенового методапараметрическойидентификацииоснованногона синтеземетода максимальногоправдоподобияи методаквадратно-корневогоинформационногофильтра (ККИФ),сравнение егос другимисуществующимиалгоритмамис точки зрениявычислительнойточности,быстродействияи сложности,а также реализацияданного методана ЭВМ.

Впервой главеданного дипломногопроекта данаобщая постановказадачи параметрическойидентификации,а также общиесведения обоценке максимальногоправдоподобияи методах минимизациифункций многихпеременных.Также в этойглаве рассмотреныключевые моментыметода квадратно-корневогоинформационногофильтра, показаныего преимуществаи недостаткиперед стандартнымфильтром Калмана.

Вовторой главепоказано, каквычислитьоценку максимальногоправдоподобияитеративнымспособом припомощи характеристическогоуравнения,которое включаетв себя градиентобратногологарифмафункции правдоподобияи информационнойматрицы Фишера.В разделе 2.2 второйглавы выведеновыражение дляфункции правдоподобия,используявыходные значенияестественнымобразом генерирующиесяККИФ. В разделах2.3 и 2.4 показанспособ полученияградиентаобратногологарифмафункции правдоподобияи формулы дляинформационнойматрицы Фишера,а полный алгоритмдля их подсчетапредставленв разделе 2.5.

Втретьей главеизложены результатыэкспериментов,направленныхна выявленияосновных преимуществи недостатковизложенногоалгоритма всравнении сдругими методамипараметрическойидентификации.

Взаключенииданного дипломногопроекта будутподведены итогипроделаннойработы.

1. Общие выкладкииз теории

1.1. Общаяпостановкапроблемыидентификации

Основной задачейсистемногоанализа являетсяопределениевыходногосигнала системыпо известномувходному сигналуи характеристикамсистемы. Здесьобсуждаетсязадача, которуюиногда называютобратной задачейсистемногоанализа, позаданным входномуи выходномусигналам определитьуравнения,описывающиеповедениесистемы. Т.е.необходимополучить правилоили такую связь,

которая позволялабы приписатьнеизвестномупараметру

рассматриваемогообъекта некотороечисловое значение(оценку)

,причем этаоценка зависитот последовательностинаблюдений

,где

-есть управление.Рассматриваемаяситуация изображенана рис.1.

Часто подразумевается,что идентификацияначинаетсяиз ”ничего”без всякойаприорнойинформацииоб объекте. Нов большинстветехническихзадач такоепредположениене реалистично;из структурыобъекта и, покрайней мере,частичногопонимания егофункционированияможно извлечьопределеннуюаприорнуюинформациюи, в частности,вид структурымодели. В этомслучае остаетсятолько получитьинформациюо числовыхзначениях рядапараметров(коэффициентовдифференциальныхуравнений,описывающихдинамику объекта,и т. д.). В результатезадача идентификациисводится кзадаче оцениванияпараметров.Под оцениваниемпараметровпонимаетсяэкспериментальноеопределениезначений параметров,характеризующихдинамику поведенияобъекта, впредположении,что структурамодели объектаизвестна.

При оцениваниииспользуютразличные видыоценок, которыеразличаютсяобъемом исходнойинформацииоб объекте.Например, принахожденииоценки по методунаименьшихквадратовпредполагается,что динамикаобъекта можетбыть аппроксимированавыбранноймоделью. Приполучении”марковских”оценок считаетсятакже известнойковариационнаяматрица шума.Для вычисленияоценок максимальногоправдоподобиянеобходимознание плотностивероятностиизмеряемогослучайногопроцесса. Байесовскиеоценки, илиоценки с минимальнымриском, требуютзнания априорныхплотностейвероятностинеизвестныхпараметрови величиныштрафа за ошибки.

В данной работемы будем рассматриватьчастный случайпоказаннойвыше ситуации,т.е. рассмотримпараметрическоеоцениваниепараметровдинамическойсистемы безуправления,а неизвестныепараметры будемоцениватьметодом максимальногоправдоподобия.

1.2. Оценкамаксимальногоправдоподобия

Известно, чтопри оцениваниисущественныйинтерес представляетинформацияо рассматриваемыхпараметрах,в частностиплотностьвероятности

или

.Эта функциязависит отпродолжительностиинтерваланаблюдений

или, что то жесамое, от размеравыборки

и представляетсобой наиболееполную информацию,которую можнополучить, применяястатистическиеметоды.

Пусть известнаплотностьвероятностишума

.По ней можнорассчитатьплотностьвероятностиизмерений

,которая зависитот параметровобъекта

и обозначаетсячерез

.Также положим,что априорноераспределениевероятностейпараметра

в области возможныхзначений параметра.Тогда разумновыбирать

,совпадающеесо значением

,максимизирующим

.В соответствиис формулойБайеса

для произвольного

имеем

Априорнаяплотностьвероятностиимеет вид

Апостериорипосле измеренийвыборочныхзначений

,или

,совместнаяплотностьвероятностиобозначаетсякак

и называетсяфункциейправдоподобия.По функцииправдоподобиянаходитьсяоценка

,причем логичновыбирать такоезначение

,которое максимизирует

.Тогда необходимоеусловие максимумаимеет вид

или в силумонотонностилогарифма

Эту формулуназывают уравнениемправдоподобияи, отыскиваярешение этойсистемы уравнений,которое обеспечиваетнаибольшеезначение

или

,находим оценкумаксимальногоправдоподобия,а, находя оценкумаксимальногоправдоподобия,мы тем самымнаходим неизвестныепараметрысистемы.

Таким образом,задача оцениванияможет бытьсформулированакак задачанахождениянаибольшего(наименьшего)значения некоторогофункционала.Но т.к. значенияпараметровнепосредственномунаблюдениюне доступны,то критериемвыбора оптимумадолжен бытьфункционалот выходныхсигналов илиот математическогоожидания ошибокоценок параметров.Примером такого функционаламожет служитьлибо функцияправдоподобия,либо ее логарифм.Т.е. если

-это выход объекта,

-соответствующийвыход моделии, также когда,невязки ошибокпредсказания

являются независимымии имеют гауссовскоесовместноераспределениес нулевым средними матрицамиковариаций

,тогда выражениедля обратногологарифмафункции максимальногоправдоподобияимеет следующийвид:

Тогда нахождениеоценки максимальногоправдоподобияэквивалентноминимизацииследующегофункционала:

(1.2.1)

Тогда

1.3. Методыминимизациифункций многихпеременных

Критериемвыбора оптимума,в нашем случаеэтим критериеместь выражение(1.2.1), являетсяфункция (функционал)многих переменныхи для ее минимизациибудем использоватьнаиболее известныеи часто применяемыеметоды минимизациифункций многихпеременных.

В общем случаебудем рассматриватьзадачу

(1.3.1)

предполагая,что функция

непрерывнодифференцируемана

.Согласно определениюдифференцируемостифункции

(1.3.2)

где

.Если

,то при достаточномалых

главная частьприращения(1.3.2) будет определятьсядифференциаломфункции

.СправедливонеравенствоКоши-Буняковского

причем если

,то правое неравенствопревращаетсяв равенствотолько при

,а левое неравенство– только при

,где

.Отсюда ясно,что при

направлениенаибыстрейшеговозрастанияфункции

в точке

совпадает снаправлениемградиента

,а направлениенаибыстрейшегоубывания – снаправлениемантиградиента

Это замечательноесвойство градиенталежит в основеряда итерационныхметодов минимизациифункций. Однимиз таких методовявляется градиентныйметод, к описаниюкоторого мыпереходим.

Градиентныйметод. Будемсчитать, чтонекотораяточка

уже выбрана.Тогда методзаключаетсяв построениипоследовательности
по правилу:

Существуютразличныеспособы выбора

в данном методе,но на практикенередко довольствуютсянахождениемкакого-либо

,обеспечивающегоусловие монотонности:

.С этой цельюзадаются какой-либопостоянной

и на каждойитерации методаберут

.При этом длякаждого

проверяютусловие монотонности,и в случае егонарушения

дробят до техпор, пока невосстановитсямонотонностьметода.

МетодНьютона.Градиентныйметод являетсяметодом первогопорядка, посколькуиспользуетлишь первыепроизводныеминимизируемойфункции. Однакоесли минимизируемаяфункция дваждынепрерывнодифференцируемаи производныевычисляютсядостаточнопросто, то возможноприменениеметода минимизациивторого порядка,которые используютквадратичнуючасть разложенияэтой функциив ряд Тейлора.Широко известныйметод Ньютонапредставляетсобой итерационныйпроцесс:

Метод сопряженныхнаправлений.Метод сопряженныхнаправленийявляется методомиспользующимлишь градиентфункционалаи описываетсяследующимобразом:

где величина

находится изусловия

вычисляетсяиз следующихформул

Точное определениевеличины

возможно лишьв редких случаях,поэтому реализациякаждой итерацииметода будетсопровождатьсянеизбежнымипогрешностями.Эти погрешности,накапливаясь,могут привестик тому, что векторы

перестаютуказыватьнаправлениеубывания функции,и сходимостьметода можетнарушиться.Чтобы боротьсяс этим явлением,метод сопряженныхнаправленийвремя от времениобновляют,полагая

1.4. Методквадратно-корневогоинформационногофильтра(ККИФ)

Пусть динамическаясистема с дискретнымвременем данав следующемвиде:

(1.4.1)

где векторсостояния

,матрица переходовиз состоянияв состояние

-случайныйпроцесс, представляющийсобой белыйгауссовый шумс нулевым средними ковариацией

,т.е.

Пусть множествонаблюденийзадается уравнением:

(1.4.2)

где векторнаблюдения

,матрица наблюдений

,и

-шум:

Предположим,что мы имеемаприорныйинформационныймассив

,где

-невырожденнаяаприорнаяковариацияи оценки

относятся к

следующимобразом:

;

(1.4.3)

где

естьэкстраполяционнаяоценка векторасостояния, а

-матрица ковариацииошибки экстраполяционнойоценки.

Замечание: Дляотфильтрованнойоценки и еематрицы ковариацийсвязь с информационныммассивом

аналогична.

Предполагая,что

мы можем записатьследующееравенство:

(1.4.4)

Тогда модельнаблюденийи предсказаниявыглядит следующимобразом:

(1.4.5)

(1.4.6)

где

-ортогональныематрицы такие,что матрицы

являютсяверхнетреугольными,а

- остаточнаяошибка, соответствующаярешению наименьшихквадратов.

Заметим, чтоуравнения(1.4.5) и (1.4.6) эквивалентныуравнениямфильтра Калмана(доказательстводанного фактасм. в [2]). Но в отличиеот традиционногофильтра Калмана,ККИФ позволяетизбежать численнойнеустойчивости,являющейсярезультатомвычислительныхпогрешностей,посколькувместо матрицковариацийошибки оценокна этапахэкстраполяциии обработкиизмерений, посвоей природеположительноопределенных,ККИФ оперируетс их квадратнымикорнями. А этозначит, чтовычисленияквадратногокорня равносильносчету с двойнойточностью дляковариацииошибок и крометого устраняетсяопасностьутраты матрицейковариацийсвойства положительноопределенности.Недостаткомданного методаявляется присутствиеопераций извлеченияквадратногокорня.

2. Оцениваниепараметровпо методумаксимальногоправдоподобияс использованиемквадратно-корневыхинформационныхфильтров

Вычислениеоценки максимальногоправдоподобияможет бытьитеративновыполнено припомощи характеристическогоуравнения,которое включаетв себя градиентобратногологарифмафункции правдоподобияи информационнуюматрицу Фишера.Вычисленияфункции правдоподобияи информационнойматрицы Фишератребуют примененияфильтра Калмана(а также егопроизводныхдля каждогопараметраоценивания),который, какизвестно, необладает достаточнойустойчивостью.Поэтому длявычисления оценки максимальногоправдоподобияитеративнымобразом будемиспользоватьККИФ.

2.1. Постановказадачи

Пусть динамическаясистема с дискретнымвременем данав следующемвиде:

(2.1.1)

где векторсостояния

,матрица переходовиз состоянияв состояние

-случайныйпроцесс, представляющийсобой белыйгауссовый шумс нулевым средними ковариацией

,т.е.

.Пусть множествонаблюденийзадается уравнением:

(2.1.2)

где векторнаблюдения

,матрица наблюдений

,и

-шум:

Пусть также,матрицы

являются функцияминеизвестноговекторногопараметра

Оценкой максимальногоправдоподобияявляется такоезначение оцениваемыхпараметров

,которое максимизируетвероятностьсобытия, прикотором наблюдения,сгенерированныес подстановкойоцениваемыхпараметров,совпадают сдействительнымизначенияминаблюдений

.Эта процедураэквивалентнаминимизацииобратногологарифмафункции плотностиусловной вероятности,т.е. обратныйлогарифм функцииправдоподобияпредставляетсякак:

(2.1.3)

где

-вычисляютсясогласно схемефильтра Калманаследующимобразом:

(2.1.4)

где

есть ковариационнаяматрица ошибкиэкстраполяционнойоценки.

Запишем другиехарактеристикифильтра Калмана,которые нампонадобятсяв дальнейшем:

Матрица Калмана:

(2.1.5)

Матрица ковариацийизмененнойпо последнимданным ошибки:

(2.1.6)

Невязка:

(2.1.7)

Измененнаяоценка:

(2.1.8)

Вычислениеоценки максимальногоправдоподобияможет бытьосуществленоитеративнопо следующейформуле:

(2.1.9)

где

- оцениваемыйвекторныйпараметр;

- индекс, определяющийномер итерации;

- информационнаяматрица Фишера;

- градиент обратногологарифмафункции максимальногоправдоподобия.

Стоит заметить,что итеративныеалгоритмы,подобные (2.1.9), всреднем сходятсяза меньшеечисло шагов,чем те алгоритмы,которые включаютв себя тольковычисления

.С другой стороны,алгоритмы,содержащие

,требуют большевычисленийна каждом шаге.

Модель наблюдений,в случае ККИФ,выглядит следующимобразом:

(2.1.10)

где

- ортогональнаяматрица такая,что

-верхнетреугольная.Также,

согласно (2.1.2)имеют вид:

(2.1.11)

где

(2.1.12)

тогда шум наблюденияимеет единичнуюковариацию,что удовлетворяетККИФ.

Шаг предсказыванияККИФ, описываетсяследующимобразом:

(2.1.13)

где матрица

представляетсяуравнением(1.4.4),

-ортогональнаяматрица такая,что матрица

являетсяверхнетреугольной.

Информационныммассивом ККИФявляется массивданных

.Он соотноситсяс оценкой состоянияфильтра Калмана

и матрицейковариацииошибки оценивания

следующимисоотношениями:

(2.1.14)

(2.1.15)

2.2. Функцияправдоподобияи ее представлениетерминах ККИФ

Для эффективноговычисленияфункции максимальногоправдоподобияпри использованииККИФ в фильтрацииданных, необходимовыразить величины,входящие ввыражение для

,непосредственночерез значения,которые вычисляютсяККИФ-ом. Такимобразом, двечасти (2.1.3):

(часть,зависящая отданных)(2.2.1)

(часть,зависящая отмодели)(2.2.2)

выраженныечерез переменные,входящие вформулы ККИФ(2.1.10) и (2.1.13), приобретаютследующий вид:

(2.2.3)

(2.2.4)

Доказательство(2.2.3) основано наследующемуравнении:

где

- ортогональноепреобразованиетакое, что матрица

- верхнетреугольная.Находя нормыот обеих частейравенства,получим:

Уравнение(2.1.14) влечет засобой, следующеевыражение:

Следовательно:

Далее,используя(2.1.8), чтобы переписатьданное выражениев следующемвиде:

Послераскрытияскобок, опятьиспользуяуравнение(2.1.14), имеем:

Далееследует:

(2.2.5)

Наконец,используя(2.1.4), (2.1.5) и (2.1.15), получаем,что матрица,находящаясявнутри квадратныхскобках выражения(2.2.5), являетсяпросто матрицей

,что и доказывает(2.2.3).

Доказательство(2.2.4) основано насуществованииортогональныхпреобразованиймежду определеннымипеременнымиККИФ и остаточнойковариационнойматрицей. Дляупрощениязаписи положим,что

Используяобычную матричнуюалгебру и уравнения(2.1.4), (2.1.5), (2.1.6) и (2.1.15) можнопоказать, чтовыполняетсяследующееравенство:

Следовательно,если положить

(2.2.6)

получаем, что

- ортогональнаяматрица. Переписав(2.2.6) в виде

имеем

Из выраженийдля

получаем значениядля детерминантов:

тогда имеем

Взяв логарифмот обеих частейвыше записанноговыражения ииспользуя тотфакт, что

получаем верноетождество для(2.2.4).

Простое преобразованиеформул, полученныхвыше, где шумнаблюденияили измерениятакже являетсязависимымпараметром,дает следующуюформулу обратногологарифмафункции правдоподобияв терминахККИФ:

2.3. Градиентфункции максимальногоправдоподобия

Для вычисленияградиента

,прежде всего,заметим, чтоградиент части,зависящей отмодели (см. (2.2.2)),записываетсяследующимобразом:

Так как матрицы

треугольные,а точнее верхнетреугольные,то только ихдиагональныеэлементы должныбыть вычислены.Диагональныеэлементы первыхтрех матрицмогут бытьвычисленынедорогимчастичнымобращениемсоответствующихвеличин ККИФ.Диагональныеэлементы последнихдвух матрицмогут бытьвычислены сиспользованиемметода, описанногов разделе 2.4.

Для градиентачасти, зависящейот данных, функциимаксимальногоправдоподобия,мы используемсоотношениедля измененияуравненийизмерения ККИФ:

где

-ортогональнаяматрица. Находянормы от обеихчастей равенства,получаем что:

Из последнегоравенстваимеем, что:

где значения

может бытьполученодифференцированиемККИФ, как показанов разделе 2.4.Значения матрицы

получаютсяпутем дифференцированиясоотношения:

Таким образом:

(2.3.1)

Междутем, матрица

- верхнетреугольнаяи должна равняться

,где

- верхнетреугольнаячасть матрицына левой стороне(2.3.1) и

- диагональнаячасть. И тогда,

находится спомощью методаобратной подстановкирешения треугольныхсистем.

Подводя итогвыше сказанному,имеем, что градиентобратногологарифмафункции максимальногоправдоподобияприобретаетвид:

где все входящиевеличины являютсялибо входнымизначениямиКИИФ, либо легконаходятся путемрешения треугольныхсистем.

Для выраженияинформационнойматрицы Фишерав терминахККИФ, вспомним,что

- ый элементматрицы Фишеразаписываетсякак:

Т.к.

- случайныйпроцесс с нулевымсредним, то

(2.3.2)

где

-аявеличина вовременнойпоследовательности,представляющей

.Переписывая(2.3.2), используяККИФ-формупредставления

,имеем, что

- ый элементматрицы Фишераприобретаетвид:

Эта формуламожет бытьиспользованаи при заменеожидаемыхзначений переменных

вычисленными.

2.4. ЗначенияпроизводныхпеременныхККИФ

Теперь дадимчисленно эффективныйи точный методдля вычислениязначений,

,которые необходимыв формулахраздела 2.3.

Для упрощенияпониманияположим, чтопреобразованияККИФ (2.1.10) и (2.1.13) имеютвид:

(2.4.1)

где

- прямоугольнаяматрица,

- ортогональная,которая приумножении с

дает верхнюютрапециевиднуюматрицу

.Элементы матрицы

дифференцируемыефункции параметра

.Тогда, при заданныхзначенияхпроизводных

,мы хотим определитьматрицу

.Явно прослеживаетсяобобщение наслучай ККИФ- преобразованийи параметр

заменяетсявектором

.Вдобавок, мыпотребуем,чтобы

и, следовательно,

были квадратнымии невырожденными.

Для более полногопредставленияситуации, вначалеостановимсяна достаточноочевидномрешении этойпроблемы, однако,которое можетвызвать определенныевычислительныетрудности и,поэтому, нерекомендуется.Данный подходоснован наиспользовании(2.4.1) и решенииследующегоуравнения:

далее прямоедифференцированиедает:

(2.4.2)

Используя тотфакт, что

и, следовательно,

- верхнетреугольные,(2.4.2) может бытьиспользованодля вычисленияэлементов

.Для этого применяетсяалгоритм прямойподстановки,который являетсястандартнымалгоритмомрешения линейныхсистем. Вычислительныесложности могутвозникнуть,когда матрица

и, следовательно,

плохо обусловлены(т.е. почти вырождены).Алгоритм прямойподстановкив этом случаеможет давать,мягко говоря,неточные результаты.

Выбранный методбазируетсяна том наблюдении,что если матрица

- ортогональная,то выполняетсяследующееравенство:

.Дифференцируяэто уравнение,находим, что

или

(2.4.3)

Матрица

,которая удовлетворяетсоотношению

- кососимметричная.Очевидно, чтотакая матрицаимеет следующийвид:

,где

- строго нижнетреугольная.Поэтому (2.4.3) можнопереписатьв следующемвиде:

(2.4.4)

для некоторойнижнетреугольнойматрицы

Лемма:Нижнетреугольнаяматрица

в соотношении(2.26), где

удовлетворяет

(2.4.1), причем

- невырождена,являетсянижнетреугольнойчастью матрицы

,причем

(2.4.5),

где

соответственнонижнетреугольная,диагональнаяи верхнетреугольнаяматрицы и

удовлетворяет(2.4.4).

Доказательство:

Продифференцировавравенство(2.4.1), получаем:

(2.4.6)

из которогоимеем:

Используя тотфакт, что

получаем, что

(2.4.7)

Далее, так как

верхнетреугольныематрицы, то и

также верхнетреугольные.Поэтому, нижнетреугольнаячасть

должна в точностисоответствоватьнижнетреугольнойчасти

с обратнымзнаком. Следовательно,если

,то

Уравнение(2.4.7) дает методдля вычисления

.Подстановкой(2.4.5) и (2.4.4) в (2.4.7) получаем,что

(2.4.8)

и, таким образом,имеем

Тем самым получаемпуть нахождения

вычислить

;
привести квиду

;
вычислить

и результатомбудет

Уравнение(2.4.8) показываетвсю опасностьприменения(2.4.6) непосредственно.Из соотношения(2.4.8) находим:

Первымслагаемымявляется

,а вторым -

.Записанноев таком видесоотношение(2.4.8), включает ив первое, и вовторое слагаемоематрицу

,но с разнымизнаками. Болеетого, матрица

полная, то естьисключениепроисходитпо всей матрице

.Если значениематрицы

небольшие, всравнении сэлементамиматриц

,тогда суммавычисляетсядостаточноточно. Однакоесли некоторыеиз элементов

велики, тогдасоответствующиеэлементы суммыбудут неточнывследствиебольшого исключенияэлементов ирезультат вцелом будетнеточен.

2.5. Описаниеалгоритма

Идеи, высказанныев разделе 2.4, могутбыть использованыдля созданияочень небольшогои сжатого алгоритмавычисленияобратногологарифмафункции правдоподобия,его градиентаи величин, входящихв выражениедля информационнойматрицы Фишера.

Пусть

определяетсобой векторпараметров,по которымфункция правдоподобиядолжна бытьпродифференцирована.Для вычисления

,для каждогоi, мы преобразуемуравнениеизмененияпараметровнаблюдающеймодели следующимобразом:

М1: Заменим (2.1.10)на

где первые двастолбца повторяютсядля каждого

М2: Вычислитьдля каждого

М3: Вычислитьдля каждого

Заметим, чтона шаге М2, матрица,которая должнабыть обращенаверхнетреугольная.Следовательно,результатобращения можетбыть полученс помощью методаобратной подстановки.

Метод раздела2.4, для нахождениявеличин

,мы не можемприменитьнапрямую куравнениюпредсказаниясостояния(2.1.13), т.к. матрица,которая должнабыть приведенак треугольномувиду неквадратная,следовательно,необратимая.Однако этоталгоритм можетбыть примененпри работе сподматрицами.

Т1: Заменим (2.1.13)следующимсоотношением:

где первые двастолбца повторяютсядля каждого

,как в (2.1.13)

Т2: Вычислитьдля каждого

здесь * - обозначениедля первых qстолбцов, непредставляющихдля нас интереса.

Т3: Вычислитьдля каждого

Соотношениедля

определяетсядифференцированиемуравнения:

и заменой производной

,используя(2.4.4), значениемвычисленнымна шаге Т1. Заметимтакже, что

,необходимоедля этого последнегоуравнения,легко вычисляется,т.к.

где

- верхнетреугольная.

Но самое интересное,что значения

,необходимыедля вычисленияматрицы Фишера,вычисляютсяавтоматическина шаге М3.

3. Эксперименты

Факт сходимостиалгоритмамаксимальногоправдоподобияк оптимальнымзначениямпараметровтеоретическиявляетсянедоказанным,поэтому в качествеосновногометода исследованиябудем считатьвычислительныеэксперименты.

Модель, используемаяв экспериментах,имеет следующийвид:

гдематрица переходаиз состоянияв состояние

оцениваемыепараметры

имеют следующиеистинные значения

матрицанаблюдений

– случайныепроцессы,представляющиесобой белыйгауссовый шумс характеристиками

начальнаяточка

Сходимостьметода

Проведем экспериментына сходимостьметода максимальногоправдоподобияс использованиемККИФ, используяразличныеалгоритмыминимизации,представленныев разделе 1.3. Приэтом будемварьироватьколичествои расположениеоцениваемыхпараметровв матрице переходаиз состоянияв состояние

,которая являетсяустойчивой,а модель –наблюдаемой(вообще, наблюдаемостьявляется необходимымусловиемидентифицируемостипараметровсистемы).

Неизвестенодин параметр

.

ачальныеусловия дляоцениваемогопараметра :

градиентныйметод

м

етодНьютона
м

етодсопряженныхнаправлений

Неизвестныдва параметра

.

ачальныеусловия дляоцениваемогопараметра :

г

радиентныйметод

методНьютона

методсопряженныхнаправлений

Неизвестнытри параметра

.

начальныеусловия дляоцениваемогопараметра :

г

радиентныйметод

м

етодНьютона

методсопряженныхнаправлений

Обратныйлогарифм функциимаксимальногоправдоподобия

В данном разделебудут представленыграфики обратногологарифмафункции максимальногоправдоподобиядля оцениваемыхпараметров,при условиитого, что другиепараметры имеютсвои истинныезначения.

Представлениедругих зависимостей

Выводы

После проведениясерии вычислительныхэкспериментовбыли полученыследующиерезультаты:

Как видно изграфиков (Рис.43-44), минимум обратногологарифмафункции максимальногоправдоподобияпо параметрамявляется неединственным,и как следствиеэтого возникаютситуации, когдаметоды минимизациисходятся нек истинномузначению оцениваемыхпараметров.Так же стоитзаметить, чтографик функционала,при большихотклоненияхот истинныхзначенияхпараметров,идет практическипараллельногоризонтальнойоси координат.Из выше сказанногоможно сделатьвывод, что выборначальногоприближениядля параметровможет оказатьсущественноевлияние какна сходимостьалгоритмов,так и на истинностьполученныхоценок.
На оценки параметровособенно сильноевлияние оказываетнаблюдаемостьдинамическойсистемы объекта(наблюдаемостьдинамическойсистемы являетсянеобходимымусловием сходимостиметодов параметрическойидентификации),а также соотношениесигнал/шум (сростом соотношенияточностьоценок увеличивается).
Из исследованныхалгоритмовнаилучшейсходимостьюобладает методсопряженныхнаправлений,а более точнымявляется методНьютона, приэтом он тожеобладает достаточнохорошей сходимостью.Поэтому предпочтительнейиспользоватьметод Ньютона,т.к. при использованииККИФ матрицавторых производныхфункционала(в нашем случаеэто информационнаяматрица Фишера)вычисляетсяестественнымпутем из выходныхданных.
Установлено,что в общемслучае скоростьсходимостис ростом размерностивектора параметрови количестванаблюденийсильно падает,однако с увеличениемколичествавходных данныхрастет точностьоценок параметров.Но рост точностиприостанавливаетсяпри количественаблюденийболее 2500. Поэтомуследует искатькомпромиссмежду скоростьюи точностью.
Метод являетсядостаточносложным ввычислительномотношении,посколькуметод максимальногоправдоподобияс использованиемККИФ требуетбольших объемоввычислений:для перемножения,обращения,ортогональныхпреобразованийматриц.

Заключение

В данном дипломномпроекте былапроведенаследующаяработа:

Теоретическипроанализированалгоритмпараметрическойидентификацииоснованныйна методемаксимальногоправдоподобияс использованиемквадратно-корневыхинформационныхфильтров сразличнымиметодами минимизациифункционалакачества.
Данный алгоритми методы минимизациипрограммнореализованына ЭВМ.
Поставленыэкспериментына выявлениеосновных преимуществи недостатковвыше описанногометода.
Поставленыэкспериментына выявлениенаилучшегометодами минимизациифункционалакачества прииспользованииалгоритмаидентификации.
Получены результатыпоставленныхэкспериментови на их основесделаны выводы.

Списокиспользуемойлитературы

Эйкхофф П. ”Основыидентификациисистем управления.Оцениваниепараметрови состояния”М.”Мир”, 1975
Bierman G.J. ”Factorization methods for discrete sequentialestimation.” N.-Y. Acad.Press, 1977
Bierman G.J., Belzer M.R., Vandergraft J.S., Porter D.W. ”Maximumlikelihood estimation using square root information filters”IEEE Transactions on automatic control, Vol. 35, No. 12, December1990, p. 1293-1298
Дж. Саридис”Самоорганизующиесястохастическиесистемы управления”М. ”Наука”, 1980
Дж. Медич ”Статистическиеоптимальныелинейные оценкии управление”
Валисьев Ф.П.”Численныеметоды решенияэкстремальныхзадач” М. ”Наука”,1988

Доклад

Априорнаяинформацияоб объекте приидентификациив широком смыслеотсутствуетили очень бедная,поэтому приходитсяпредварительнорешать большоечисло дополнительныхзадач, такиекак выбор структурысистемы и заданиекласса моделей,оцениваниелинейностиобъекта и действующихпеременных,оцениваниестепени и формывлияния входныхпеременныхна выходныеи др.

Цельюданной дипломнойработы являетсяисследованиенового методапараметрическойидентификацииоснованногона синтеземетода максимальногоправдоподобияи методаквадратно-корневогоинформационногофильтра, а такжесравнениеметодов минимизации,использованныхдля минимизациивыбранногофункционала,с точки зрениясходимости,вычислительнойточности, сложности,а также реализацияданного методана ЭВМ.

Описаниедиплома

Задача оцениванияможет бытьсформулированакак задачанахождениянаибольшего(наименьшего)значения некоторогофункционала.Но т.к. значенияпараметровнепосредственномунаблюдениюне доступны,то критериемвыбора оптимумадолжен бытьфункционалот выходныхзначений.Примером такого функционаламожет служитьлибо функцияправдоподобия,либо ее логарифм.Т.е. если

-это выход объекта,

-соответствующийвыход моделии, также когда,невязки ошибокпредсказания

являются независимымии имеют гауссовскоесовместноераспределениес нулевым средними матрицамиковариаций

,тогда выражениедля обратногологарифмафункции максимальногоправдоподобияимеет следующийвид:

(1)

Тогда критериемвыбора оптимумавыберем выражение(2), которая являетсяфункцией многихпеременныхи для ее минимизациибудем использоватьнаиболее известныеи часто применяемыеметоды минимизациифункций многихпеременных:градиентныйметод, методНьютона, методсопряженныхнаправлений.

Оценкой максимальногоправдоподобияявляется такоезначение оцениваемыхпараметров

.Эта процедураэквивалентнаминимизацииобратногологарифмафункции плотностиусловной вероятностиневязок, представленныйв формуле (2).

Вычислениеоценки максимальногоправдоподобияможет бытьитеративновыполнено припомощи характеристическогоуравнения,которое включаетв себя градиентобратногологарифмафункции правдоподобияи информационнуюматрицу Фишера,если используетсяметод Ньютонадля минимизациифункционала.Вычисленияфункции правдоподобияи информационнойматрицы Фишератребуют примененияфильтра Калмана(а также егопроизводныхдля каждогопараметраоценивания),который, какизвестно, необладает достаточнойустойчивостью.Поэтому длявычисления оценки максимальногоправдоподобияитеративнымобразом использовалсяККИФ, т.к. данныйметод позволяетизбежать численнойнеустойчивости,являющейсярезультатомвычислительныхпогрешностей,посколькувместо матрицковариацийошибки оценокна этапахэкстраполяциии обработкиизмерений, посвоей природеположительноопределенных,ККИФ оперируетс их квадратнымикорнями. А этозначит, чтовычисленияквадратногокорня равносильносчету с двойнойточностью дляковариацииошибок и, крометого, устраняетсяопасностьутраты матрицейковариацийсвойства положительноопределенности.Недостаткомданного методаявляется присутствиеопераций извлеченияквадратногокорня.

Дляэффективноговычисленияоценки максимальногоправдоподобияпри использованииККИФ, величины,входящие ввыражение для

(2)и его градиента,непосредственновыражаютсялибо черезвыходные значенияКИИФ, либо легконаходятся путемрешения треугольныхсистем.

Эксперименты

Фактсходимостиалгоритмамаксимальногоправдоподобияк оптимальнымзначениямпараметровтеоретическиявляетсянедоказанным,поэтому в качествеосновногометода исследованиябудем считатьвычислительныеэксперименты.

Стоитзаметить, чтометод являетсядостаточносложным ввычислительномотношении,поскольку методмаксимальногоправдоподобияс использованиемККИФ требуетбольших объемоввычислений:для перемножения,обращения,ортогональныхпреобразованийматриц и поэтомудля проведенияэкспериментовданный методбыл реализованна ЭВМ.

Модель,используемаяв экспериментах,представленныхна графиках,имеет следующийвид:……

Вданной дипломнойработе проведеныэкспериментына сходимостьметода максимальногоправдоподобия,используяразличныеалгоритмыминимизации.При этом варьировалоськоличествои расположениеоцениваемыхпараметровв матрице переходаиз состоянияв состояние

,которая, в даннойслучае, являетсяустойчивой,а модель –наблюдаемой(на рисунках1-3 представленыизмененияоцениваемыхпараметров,используя приминимизациифункционалаградиентныйметод; на рисунках4-6 – изменениекомпонентградиентаобратногологарифмафункции правдоподобия;на рисунке 7 –нормализованнаяошибка оценкипараметров;на рисунках6-21 – соответствующиеграфики длядругих методовминимизации).Также проведеныэкспериментына выявлениезависимостиколичествавремени дляодной итерацииот количестваизмерений(рисунок 26), количествавремени дляодной итерацииот размерностивектора оцениваемыхпараметров(рисунок 27), точностиоцениванияот количестванаблюдений(рисунок 28), навыявлениявлияния соотношениясигнал/шум наточность оценивания(рисунок 29). Нарисунках 22-25представленазависимостьобратногологарифмафункции максимальногоправдоподобияот параметров.

Выводы

Послепроведениясерии вычислительныхэкспериментовбыли полученыследующиерезультаты:

Как видно изграфиков дляобратногологарифмафункции максимальногоправдоподобияпо параметрам,минимум функцииявляется неединственным,и как следствиеэтого возникаютситуации, когдаметоды минимизациисходятся нек истинномузначению оцениваемыхпараметров.Так же стоитзаметить, чтографик функционала,при большихотклоненияхот истинныхзначенияхпараметров,идет практическипараллельногоризонтальнойоси координат.Из выше сказанногоможно сделатьвывод, что выборначальногоприближениядля параметровможет оказатьсущественноевлияние какна сходимостьалгоритмов,так и на истинностьполученныхоценок.
На оценки параметровособенно сильноевлияние оказываетнаблюдаемостьдинамическойсистемы объекта(наблюдаемостьдинамическойсистемы являетсянеобходимымусловием сходимостиметодов параметрическойидентификации),а также соотношениесигнал/шум,причем с ростомсоотношенияточностьоценок увеличивается.
Из исследованныхалгоритмовнаилучшейсходимостьюобладает методсопряженныхнаправлений,а более точнымявляется методНьютона, приэтом он тожеобладает достаточнохорошей сходимостью.Поэтому предпочтительнейиспользоватьметод Ньютона,т.к. при использованииККИФ матрицавторых производныхфункционала(в нашем случаеэто информационнаяматрица Фишера)вычисляетсяестественнымпутем из выходныхданных.
Установлено,что в общемслучае скоростьсходимостис ростом размерностивектора параметрови количестванаблюденийсильно падает,однако с увеличениемколичествавходных данныхрастет точностьоценок параметров.Но существуетнекоторыйпредел, прикотором ростточностиприостанавливается(при количественаблюденийболее 2500). Поэтомуследует искатькомпромиссмежду скоростьюи точностью.

Иллюстративныйматериал кдипломнойработе

Формулы

(1)

(2)

Модель,используемаяв экспериментах

Модель, используемаяв экспериментах,представленныхна графиках,имеет следующийвид:

где матрицаперехода изсостояния всостояние

оцениваемыепараметры

имеют следующиеистинные значения

матрица наблюдений

– случайныепроцессы,представляющиесобой белыйгауссовый шумс характеристиками

начальная точка

Графики

Неизвестнытри параметра

начальныеусловия дляоцениваемогопараметра :

г

радиентныйметод

м

етодНьютона

методсопряженныхнаправлений

Обратныйлогарифм функциимаксимальногоправдоподобия

Представлениедругих зависимостей

Министерствосреднего ипрофессиональногообразования

УльяновскийГосударственныйУниверситет

Факультетмеханико-математический

Кафедра МатематическойКибернетикии Информатики

Иллюстративныйматериал

кдипломнойработе

на тему

Адаптивноепараметрическоеоцениваниеквадратно-корневыминформационнымалгоритмом.

Выполнил:

студент гр.ПМ-52

Кудрявцев М.Ю.

УЛЬЯНОВСК

1998 г.

Министерствосреднего ипрофессиональногообразования

УльяновскийГосударственныйУниверситет

Факультетмеханико-математический

Кафедра МатематическойКибернетикии Информатики

Работа допущенак защите

Зав. кафедройд.т.н., проф. СемушинИ.В.

_____________________

Дипломнаяработа

Адаптивноепараметрическоеоцениваниеквадратно-корневымиинформационнымиалгоритмами.

Специальность:01.02 – Прикладнаяматематика.

Проект выполнилстудент гр.ПМ-52 _______________ КудрявцевМ.Ю.

Руководитель:зав. кафедройМКИ _______________ д.т.н.,проф. СемушинИ.В.

Рецензент: зав.кафедрой ПМ ________________ д.ф.-м.н. БутовА.А.

УЛЬЯНОВСК

1998 г.

Отзыв

научногоруководителя

на дипломнуюработу М.Ю.Кудрявцева

Тема работы”Адаптивноепараметрическоеоцениваниеквадратно-корневыминформационнымалгоритмом”продиктовананеобходимостьюпроведенияширокого спектраисследованийпо сравнительнымоценкам различныхподходов кпроблемеидентификациимоделей систем.

Новизна ипривлекательностьрассматриваемогоподхода обусловленысоединениемв нем известногокритерия максимумаправдоподобияс алгоритмомквадратно-коневогоинформационногофильтра. Последнийотличаетсявысокой численнойустойчивостьюк погрешностямвычисленийи к случаямплохой обусловленностисхемы наблюдений.Однако фактсовпаденияоценок максимальногоправдоподобияс параметрамиоптимальногофильтра в общемслучае не доказан.Этим объясняетсяактуальностьэкспериментальныхисследований,устанавливающихусловия, в которыхданный критерийи соответствующийалгоритмидентификациимогут считатьсяпрактическипригодными.М.Кудрявцевпроанализировалзаданный алгоритм,отличающийсясложным иразнообразнымматематическимаппаратом,сочетающимметоды математическойстатистики,оптимальногооцениванияи матричныхвычислений.Он обосновалвычислительныекомпактныесхемы, включаявычислениеобратногологарифмафункции правдоподобия,его градиентапо параметрунеопределенностии информационнойматрицы Фишера,и разработалнеобходимыепрограммы.

Основательностьи настойчивостьпозволилиМ.Кудрявцевувыполнить этуработу безлишней торопливости,с глубокимпониманиемсущества вопросаи доведениемвсего исследованиядо наглядныхэкспериментальныхрезультатов.Работа демонстрируетвысокую подготовкуее автора поспециальности”Прикладнаяматематика”,его способностик проведениюсамостоятельныхисследованийи заслуживаетотличной оценки.

Д.т.н., профессорИ.В. Семушин

Рецензиядипломнойработы

студентагр. ПМ-52 УлГУКудрявцеваМ.Ю.

по теме

”Адаптивноепараметрическоеоцениваниеквадратно-корневыминформационнымалгоритмом”

В даннойработе рассмотренметод параметрическойидентификацииоснованныйна синтеземетода максимальногоправдоподобияи квадратно-корневогоинформационногофильтра. Дипломнаяработа включаетподробныйобзор, теоретическийанализ методови компьютерноемоделирование.Основное вниманиев работе уделеночисленнымэкспериментам,включающимпостроениеи реализациюалгоритма наоснове общегометода квадратно-корневойинформационнойфильтрации.Работа включаетвсе необходимыеэлементы,удовлетворяетвсем требованиям,предъявляемымк дипломнымработам поспециальности”Прикладнаяматематика”и заслуживаетоценки ”отлично”.

Д.ф.–м.н., профессорА.А. Бутов

Эксперименты

Сходимостьметода:

Н

еизвестенодин параметр
.

ачальныеусловия:

Введение

Спектральныйанализ - этоодин из методовобработкисигналов,которыйпозволяетохарактеризоватьчастотный состав измеряемогосигнала.ПреобразованиеФурье являетсяматематическойосновой,которая связываетвременной илипространственныйсигнал (или женекоторуюмодель этогосигнала) с егопредставлениемв частотнойобласти.

К обработкесигналов вреальном масштабевремени относятсязадачи анализааудио,речевых,мультимедийныхсигналов,в которых помимотрудностей,связанныхнепосредственнос анализомспектральногосодержанияи дальнейшейклассификациейпоследовательностиотсчетов (какв задаче распознаванияречи)или измененияформы спектра- фильтрациив частотнойобласти (в основномотносится к мультимедийнымсигналам),возникаетпроблема управленияпотоком данныхв современныхвычислительныхсистемах.Реальностьнакладываетотпечаток какна сами вычислительныеалгоритмы,так и на результатыэкспериментов,поднимая вопросы,с которыми несталкиваешьсяпри обработкевсей доступнойинформации.

При обработкесигналов обычноприходитсярешать задачидвух типов -задачу обнаруженияи задачу оценивания.При обнаружениинужно датьответ на вопрос,наблюдаем лив данное времянекоторыйсигнал с априорноизвестнымипараметрами.Оценивание- это задачаизмерениязначений параметров,описывающихсигнал[1].

Сигнал частозашумлен,на него могутнакладыватьсямешающие сигналы.Поэтому дляупрощенияуказанных задачсигнал обычноразлагают побазисным составляющимпространствасигналов.Для многихприложенийнаибольшийинтерес представляютпериодическиесигналы.Вполне естественно,что используютсяSinи Cos.Такое разложениеможно выполнитьс помощьюклассическогопреобразованияФурье.

При обработкесигналов конечнойдлительностивозникаютинтересныеи взаимозависимыевопросы,которые необходимоучитывать входе гармоническогоанализа.Конечностьинтерваланаблюдениявлияет наобнаружимостьтонов в присутствиисильных шумов,на разрешимостьтонов меняющейсячастоты и наточность оценокпараметроввсех вышеупомянутыхсигналов.

Постановкапроблем,формулировказадач

На настоящеевремя существуетбольшое количествоалгоритмови групп алгоритмов,которые такили иначе решаютосновную задачуспектральногоанализа:оцениваниеспектральнойплотностимощности,с тем чтобыпо полученномурезультатусудить о характереобрабатываемогосигнала .Основнойвклад сделантакими исследователямикак :Голд Б.(GoldB.), РабинерЛ.(Rabiner L.R.) , БартлеттM.(Bartlett M.S.)Однакокаждый из алгоритмовимеет своюобласть приложения.Например,градиентныеадаптивныеавторегрессионныеметоды не могутбыть примененык обработкеданных с быстроменяющимсяво времениспектром.Классическиеметоды имеютширокую областьприменения,но проигрываютавторегрессионными методах,основанныхна собственныхзначениях,по качествуоценивания.Но в реальноммасштабе временииспользованиепоследнихзатрудненоиз-за вычислительнойсложности.

Более того,применениекаждого изметодов обычнотребует выборазначений параметров(выборокна данныхи корреляционногоокна в классическихметодах,порядка моделив авторегрессионномалгоритме иалгоритмелинейногопредсказания,предполагаемогочисла собственныхвекторов впространствешума в методаПисаренко)и правильныйвыбор требуетэкспериментальныхрезультатовс каждым классомалгоритмов.

Таким образом,имеетсяследующаязадача :

На основесуществующихалгоритмовпроанализироватьвозможностьприменениякак к последовательнойобработкесигналов вреальном времени,так и к блочнойобработке иоценить качествополучаемыхрезультатов

Из вышесказанногоможно сформулироватьследующиеподзадачи:

I. теоретическоеи практическоеисследованиеалгоритмовблочной обработки

II. анализклассическихалгоритмовблочной обработкивсейпоследовательностив части примененияокон данныхи корреляционныхокон

анализалгоритмовобработкисигналов вреальном масштабевремени

Существуетнесколькопроблем,специфичныхдля обработкисигналов вреальном времени:

·Необходимостьв «одновременном»выполненииследующихосновных этаповобработкиданных:

Непосредственноеполучениепоследовательностивходных данных(цифровые отсчетыаудио-сигнала,речевогосигнала).
Обработкаполучаемыхотсчетов сигнала.
Представлениеобработаннойинформации
Возможностьконтролироватьпроцесс обработкиинформации

·Ограничениедлительностиинтервалавыборки поступающихданных вычислительнымиресурсами

·Ограничениедлительностиинтервалавыборки характеромсигнала

Если перваяпроблема очевиднав рамках обработкиданных в реальномвремени,то вторая итретья проблемытребуют осмысленияпричин этихограничений.

К сформулированнымвыше задачамдобавляются:

задачапостроениясхемы управленияобработкойданных вреальном времени,основанной,в силу первойпроблемы,на параллельныхвычисленияхи протоколахвзаимодействияи синхронизации;
экспериментальныйанализ по второйпроблеме,то есть исследованиевлияния вычислительныхресурсов иметодов оцифровкиданных намаксимальнодопустимуюдлину интервалавыборки;
анализдлительности,исходя из характерасигнала.

Из постановкиосновной задачивытекаетнеобходимостьв проведениибольшого количестваэкспериментов.Экспериментальныевходные данныеформируютсяследующимобразом

·для задачианализа алгоритмовблочной обработкивсей последовательностиотсчетов формируютсядискретизированныеотсчеты данныхтест-сигналаиз суммы комплексныхсинусоид иаддитивныхокрашенныхшумовых процессов,сформированныепосредствомпропусканиябелого шумачерез фильтрс частотнойхарактеристикойтипа приподнятогокосинуса илиокна Хэмминга.Таким образом,в этом случаеэкспериментопределяетсянабором

,где

-последовательностькомплексныхсинусоид самплитудами

дБ и частотами

Гц,а

- последовательностьшумовых процессовс параметрами:центральнаячастота

Гц., динамическийдиапазонперекрываемыхчастот

Гц.,мощность шума

дБ.

·для анализаклассическихалгоритмовблочной обработкивсей последовательностив части примененияокон данныхи корреляционныхокон эксперименти подсчет основныххарактеристикокон производитсянад дискретизированнымиотсчетамисоответствующихфункций.

·для анализаалгоритмовобработкисигналов вреальном масштабевремениданными являютсяаудио и речевойсигналы.

Выходнымиданными экспериментовявляются :

·для задачианализа алгоритмовблочной обработкивсей последовательностиотсчетов:

1.)оценкаспектральнойплотностимощности ,полученнаяс помощью тогоили иного методаспектральногоанализа,по которойможно судитьо качествеприменяемогометода,сравниваяистинную спектральнуюплотностьмощностисформированногосигнала с полученнойоценкой

2.)вычислительныеи временныезатраты метода

·для анализаокон данныхи корреляционныхокон - расчетныеосновныехарактеристикитакиекак :максимальныйуровень боковыхлепестков,эквивалентнаяширина полосы,ширина полосыпо уровню половинноймощности,степень корреляцииит.д..

·для анализасигналов вреальном масштабевремени :спектральнаяплотностьмощности (функция,зависящая вэтом экспериментетакже и от времени).Для оценкисоставляющихв спектре сигналав данныймомент времени.

Из ...Теоретическийанализ существующихалгоритмовспектральногоанализа.

Спектральнаяоценка,получаемаяпо конечнойзаписи данных,характеризуетнекотороепредположениеотносительнотой истиннойспектральнойфункции,котораябыла бы получена,если бы в нашемраспоряженииимелась записьданных бесконечнойдлины.Именнопоэтому поведениеи характеристикиспектральныхоценок должныописыватьсяс помощьюстатистическихтерминов.Общепринятымистатистическимикритериямикачества оценкиявляются еесмещение идисперсия.

Из формальногоопределенияспектра,следует,что спектрявляется некоторойфункцией однихлишь статистиквторого порядка,относительнокоторых в своюочередь предполагается,что они остаютсянеизменными,или стационарнымиво времени.Следовательно,такой спектрне передаетполной статистическойинформацииоб анализируемомслучайномпроцессе,а значит,дополнительнаяинформацияможет содержатьсяв статистикахтретьего иболее высокогопорядка.Кроме того,многие обычныесигналы,которые приходитсяанализироватьна практике,не являютсястационарными.Однакокороткие сегментыданных,получаемыеиз более длиннойзаписи данных,можносчитать локальностационарными.Анализируяизмененияспектральныхоценок от одноготакого сегментак другому,можно затемсоставитьпредставлениеи об изменяющихсяво временистатистикахсигналов,то есть нестационарных.

Определение:Непрерывно-временнымпреобразованиемФурьеназываетсяфункция

Определение:ОбратноепреобразованиеФурье определяетсявыражением

ДискретноепреобразованиеФурье

,где

СпектральнаяПлотностьМощности

Хотя выборочныйспектр не являетсясостоятельнойоценкой истиннойспектральнойплотностимощности,эта оценкаможет бытьиспользованаесли выполнятьнекоторогорода усреднениеили сглаживания.На использованииэтой оценкиоснован классическийпериодограммыйметод определенияспектральнойплотностимощности.

Дальше идутметоды .....1,2,3,4,.... вместес экспериментальныманализом алгоритмовспектральногоанализа.

Особенностиреализации

Для реализацииалгоритмовбыл реализованязык проектированияалгоритмов,включающийв себя средствамежзадачногообмена данными,то есть построениераспределенныхпо процессамвычислительныхалгоритмов,определенныечасти которогоисполняютсяпараллельнонесколькимипроцессам.Дальнейшимразвитием этогоподхода являетсяпостроениесетевых распределенных схем алгоритмов.Существуетбольшое количествоприложенийэтого подхода.

Заключение

В даннойработе :

Tеоретическипроанализированы методы спектральногоанализа,а также возможностьпримененияэтих методовв современныхвычислительныхсистемах дляобработкиданных в реальноммасштабе времени.
Полученырезультатыпоставленныхэкспериментови на их основевыбран наиболееподходящийметод оцениванияспектральнойплотностимощности ваддитивнойсмеси комплексныхсинусоид иокрашенногостационарногошумового процесса.
Дано описаниеи выполненареализация схемы управленияпроцессомобработкиданных в реальномвремени,использующаяпреимуществапараллельнойархитектурывычислительныхсистем.
Cформулированряд требованийпо вычислительнымресурсампри реальнойобработкесделан анализдлины выборкиданных приразличномпредставлениивходного сигнала.
Полученырезультатыпо экспериментувычисленияхарактеристикокон и на ихосновевыбранооптимальноерешение в каждомэкспериментепо оцениваниюспектральнойплотностимощноститест-сигнала.

Выводы

Введение.

Проблемаидентификациилинейной динамическойсистемы заключаетсяв созданиимодели процессапо его наблюдаемымвходным и выходнымсигналам вдетерминистскойили стохастическойобстановке.Процесс идентификациивключает в себядве независимыепроцедуры, аименно, структурнуюидентификациюи идентификациюпараметров.

Когда неизвестныструктураобъекта исоответствующиефизическиезаконы, которымподчиняетсяего поведение,проводятсяэксперименты,направленныена выявлениеструктурыобъекта и законовего поведенияметодами структурнойидентификации.В случае, когдаизвестна структураобъекта (т.е.существуетмодель характеризующаяего свойства),а неизвестнымиявляются некоторыеего характеристики,описываемыеконечномернымвектором, последниеопределяютсяметодамипараметрическойидентификации.

Постановказадачи

Целью даннойдипломнойработы являетсяисследованиенового методапараметрическойидентификацииоснованногона синтеземетода максимальногоправдоподобияи методаквадратно-корневогоинформационногофильтра(ККИФ), сравнениеего с другимисуществующимиалгоритмамис точки зрениявычислительнойточности,быстродействияи сложности,а также реализацияданного методана ЭВМ.

Метод

Как известно,оценкой максимальногоправдоподобияявляется значениеоцениваемыхпараметров,которое максимизируетвероятностьсобытия, прикотором наблюдения,сгенерированныес подстановкойоцениваемыхпараметров,совпадают сдействительнымизначенияминаблюдений.Вычислениеоценки максимальногоправдоподобияможет бытьитеративновыполнено припомощи характеристическогоуравнения,которое включаетв себя градиентобратногологарифмафункции правдоподобияи информационнуюматрицу Фишера.Вычисленияфункции правдоподобияи информационнойматрицы Фишератребуют примененияфильтра Калмана(а также егопроизводныхдля каждогопараметраоценивания),который, какизвестно, необладает достаточнойустойчивостью.Бирман, занимавшийсяпостроениемчисленно устойчивыхалгоритмовфильтрации,предложил длявычисления оценки максимальногоправдоподобияитеративнымобразом использоватьквадратно-корневойинформационныйфильтр. В отличиеот традиционногофильтра Калмана,ККИФ позволяетизбежать численнойнеустойчивости,являющейсярезультатомвычислительныхпогрешностей,посколькувместо ковариацииошибки оценокна этапахэкстраполяциии обработкиизмерений, посвоей природеположительноопределенных,ККИФ оперируетс их квадратнымикорнями. Этозначит, чтовычислениеквадратногокорня равносильносчету с двойнойточностьюковариацииошибок, крометого устраняетсяопасностьутраты матрицейковариацийсвойства положительноопределенности.Недостаткомданного методаявляется присутствиеопераций извлеченияквадратногокорня.

Таким образом,вычислениеоценки максимальногоправдоподобияможет бытьосуществленоитеративнопо следующейформуле:

(1)

где

- конечномерныйвектор оцениваемыхпараметров;

- индекс, определяющийномер итерации;

- информационнаяматрица Фишера;

- градиент функциимаксимальногоправдоподобия.

Стоит заметить,что итеративныеалгоритмы,подобные (1), всреднем сходятсяза меньшеечисло шагов,чем те алгоритмы,которые включаютв себя тольковычисления

.С другой стороны,алгоритмы,содержащие

,требуют большевычисленийна каждом шаге.

Для эффективноговычисленияградиентафункции максимальногоправдоподобияпри использованииККИФ в фильтрацииданных, величины,входящие ввыражение для

,представляютсянепосредственночерез величины,значения которыхвычисляютсяККИФ-ом. Приэтом, если заменитьожидаемыезначения переменныхизмеренными,то матрицаФишера такжевычисляетсячерез значенияполучаемыхККИФ-ом. Но чтосамое интересное,так это то, чтов случае использованияфильтра Калманадля вычисленияградиента,необходимозапуститьдифференцирующийфильтр Калманадля каждогоиз параметров

.В схеме же ККИФэтот ”набор”фильтров заменяетсярасширеннымимассивамиданных, к которыми применяютсяортогональныепреобразования.

Заметим, чтонахождениеоценки максимальногоправдоподобияэквивалентноминимизацииобратногологарифмафункции правдоподобия,тогда критериемдля методаявляется выражение:

(2)

где

- невязка,

- остаточнаяковариация(т.е. ковариацияневязок), подразумевается,что значенияневязок

в каждый моментвремени

независимы.Независимостьже невязокобеспечиваетсяпри оптимальномфильтре, т.е.при точно известныхзначенияхпараметра

.Из этого предположенияследует, чтоначальныезначения дляпараметрадолжны бытьдостаточноблизкими кистинным егозначениям.

Выводы

В рамках данногодипломногопроекта былипроведеныследующиеэксперименты:

Выявлениезависимоститочности оцениванияот количестваизмерений.
Выявлениезависимостьточности оцениванияот начальныхусловий дляоцениваемыхпараметров.
Выявлениезависимостивремени оцениванияот размерностизадачи.
Проверка насходимостьметода с полностьюнаблюдаемойи ненаблюдаемоймоделью системы.
Сравнениеточности оцениванияданного методас другимисуществующимиметодами.
Сравнениевремени оцениванияданного методас другимисуществующимиметодами.

После проведениясерии вычислительныхэкспериментовбыли полученыследующиерезультаты:

Вышеописанныйметод требуетзначительногоколичествавремени дляодной итерациипо сравнениюс другими методамипараметрическойидентификации,посколькутребуетсявычислениеградиентаобратногологарифмафункции правдоподобияи информационнойматрицы Фишера.Данный фактпоказывает,что метод являетсядостаточносложным ввычислительномотношении.
Сходимостьметода в значительнойстепени зависитот устойчивостиматрицы переходаиз состоянияв состояние,от наблюдаемостидинамическойсистемы объекта,а также отколичестваоцениваемыхпараметров(наблюдаемостьдинамическойсистемы являетсянеобходимымусловием сходимостиметодов параметрическойидентификации).
Метод критиченк начальнымоценкам параметров.

Заключение

В данном дипломномпроекте былапроведенаследующаяработа:

Теоретическипроанализированалгоритмпараметрическойидентификацииоснованныйна методемаксимальногоправдоподобияс использованиемквадратно-корневыхинформационныхфильтров.
Данный методпрограммнореализованна ЭВМ.
Для проведениясравнительныхэкспериментовпрограммнореализованыдругие известныеметоды параметрическойидентификации.
Поставленыэкспериментына выявлениеосновных преимуществи недостатковвыше описанногометода по сравнениюс другимиреализованнымиметодами.
Получены результатыпоставленныхэкспериментови на их основесделаны выводы.