Метод Дэвидона-Флетчера-Пауэлла - реферат

Министерство науки, высшей школы и технической

политики Русской Федерации.

Новосибирский Муниципальный

Технический Институт.

Реферат по исследованию операций на тему

«Метод Дэвидона - Флетчера - Пауэлла».

Вариант №2.

Факультет: АВТ.

Кафедра: АСУ.

Группа: АС-513.

Студент: Бойко Константин Анатольевич.

Педагог: Ренин Сергей Васильевич.

Дата: 19 октября 1997 года.

Новосибирск



Введение.

Сначало способ был предложен Дэвидоном (Davidon [1959] ), а потом развит Флетчером и Метод Дэвидона-Флетчера-Пауэлла - реферат Пауэллом (Fletcher, Powell [1963] ). Способ Дэвидона - Флетчера - Пауэлла именуют также и способом переменной метрики . Он попадает в общий класс квазиньютоновских процедур, в каких направления поиска задаются в виде -Dj f(y). Направление градиента является, таким макаром, отклоненным в итоге умножения на -Dj , где Dj - положительно определенная симметрическая матрица порядка n х Метод Дэвидона-Флетчера-Пауэлла - реферат n, аппроксимирующая оборотную матрицу Гессе. На последующем шаге матрица Dj +1 представляется в виде суммы Dj и 2-ух симметрических матриц ранга один любая. В связи с этим схема время от времени именуется схемой корректировки ранга два .

Метод Дэвидона - Флетчера - Пауэлла.

Разглядим метод Дэвидона - Флетчера - Пауэлла минимизации дифференцируемой функции нескольких переменных. А Метод Дэвидона-Флетчера-Пауэлла - реферат именно, если функция квадратичная, то, как будет показано позже, способ производит сопряженные направления и останавливается после выполнения одной итерации, т.е. после поиска повдоль каждого из сопряженных направлений.

Исходный шаг .

Пусть >0 - константа для остановки. Избрать точку х1 и исходную симметрическую положительно определенную матрицу D1 . Положить y1 = x1 , k Метод Дэвидона-Флетчера-Пауэлла - реферат = j = 1 и перейти к основному шагу.

Основной шаг .

Шаг 1. Если çê f(yj ) çê< e, то тормознуть; в неприятном случае положить dj = - Dj f(yj ) и взять в качестве lj наилучшее решение задачки минимизации f(yj + ldj ) при l ³ 0. Положить yj+1 = yj + lj dj . Если j < n, то Метод Дэвидона-Флетчера-Пауэлла - реферат перейти к шагу 2. Если j = n, то положить y1 = xk+1 = yn+1 , поменять k на k+1, положить j=1 и повторить шаг 1.

Шаг 2. Выстроить Dj +1 последующим образом :

, (1)

где

pj = lj dj , (2)

qj = f(yj+1 ) - f(yj ). (3)

Поменять j на j + 1 и перейти к шагу 1.

Пример.

Разглядим последующую задачку :

минимизировать (x1 - 2)4 + (x1 - 2x2 )2 .

Результаты Метод Дэвидона-Флетчера-Пауэлла - реферат вычислений способом Дэвидона - Флетчера - Пауэлла приведены в таблице 1.

Таблица 1. Результаты вычислений по способу Дэвидона - Флетчера - Пауэлла.

k

xk

f(xk )

j

yj

f(yj )

f(yj )

çê f(yj ) çê

D

dj

lj

yj+1

1

(0.00, 3.00)

(52.00)

1

2

(0.00, 3.00)

(52.00)

(2.70, 1.51)

(0.34)

(-44.00, 24.00)

(0.73, 1.28)

50.12

1.47

(44.00, -24.00)

(-0.67, -1.31)

0.062

0.22

(2.70, 1.51)

(2.55, 1.22)

2

(2.55, 1.22)

(0.1036)

1

2

(2.55, 1.22)

(0.1036)

(2.45, 1.27)

(0.0490)

(0.89, -0.44)

(0.18, 0.36)

0.99

0.40

(-0.89, 0.44)

(-0.28, -0.25)

0.11

0.64

(2.45, 1.27)

(2.27, 1.11)

3

(2.27, 1.11)

(0.008)

1

2

(2.27, 1.11)

(0.008)

(2.25, 1.13)

(0.004)

(0.18, -0.20)

(0.04, 0.04)

0.27

0.06

(-0.18, 0.20)

(-0.05, -0.03)

0.10

2.64

(2.25, 1.13)

(2.12, 1.05)

4

(2.12, 1.05)

(0.0005)

1

2

(2.12, 1.05)

(0.0005)

(2.115, 1.058)

(0.0002)

(0.05, -0.08)

(0.004, 0.004)

0.09

0.006

(-0.05, 0.08)

0.10

(2.115, 1.058)

На каждой итерации вектор dj для j = 1, 2 определяется в виде
–Dj f(yj ), где D1 ­­– единичная матрица, а Метод Дэвидона-Флетчера-Пауэлла - реферат D2 рассчитывается по формулам (1) - (3). При
k = 1 имеем p1 = (2.7, -1.49)T , q1 = (44.73, -22,72)T . На 2-ой итерации
p1 = (-0.1, 0.05)T , q1 = (-0.7, 0.8)T и, в конце концов, на третьей итерации
p1 = (-0.02, 0.02)T , q1 = (-0.14, 0.24)T . Точка yj+1 рассчитывается оптимизацией повдоль направления dj при исходной точке yj для j = 1, 2. Процедура остановлена в точке
y2 = (2.115, 1.058)T на четвертой итерации, потому что Метод Дэвидона-Флетчера-Пауэлла - реферат норма çêf(y2 ) çê= 0.006 довольно мала. Траектория перемещения, приобретенная способом, показана на рисунке 1.

Набросок 1. Способ Дэвидона - Флетчера - Пауэлла .

Лемма 1 указывает, что любая матрица Dj положительно определена и dj является направлением спуска.

Для подтверждения леммы нам пригодится :

Аксиома 1 . Пусть S - непустое огромное количество в Еn , точка x Î cl S. Конусом Метод Дэвидона-Флетчера-Пауэлла - реферат вероятных направлений в точке x именуется огромное количество D = {d : d ¹ 0, x + ld Î S при всех l Î (0, d) для некого d > 0}.

Определение. Пусть x и y - векторы из Еn и |xT y| - абсолютное значение скалярного произведения xT y. Тогда производится последующее неравенство, называемое неравенством Шварца : |xT Метод Дэвидона-Флетчера-Пауэлла - реферат y| £ ||x|| ||y||.

Лемма 1.

Пусть y1 Î Еn , а D1 – исходная положительно определенная симметрическая матрица. Для j = 1, ..., n положим yj+1 = yj + lj dj , где dj = –Dj f(yj ), а lj является хорошим решением задачки минимизации f(yj + ldj ) при l ³ 0. Пусть, не считая того, для
j = 1, ..., n – 1 матрица Dj+1 определяется Метод Дэвидона-Флетчера-Пауэлла - реферат по формулам (1) - (3). Если f(yj ) ¹ 0 для
j = 1, ..., n, то матрицы D1 , ..., Dn симметрические и положительно определенные, так что d1 , ..., dn – направления спуска.

Подтверждение.

Проведем подтверждение по индукции. При j = 1 матрица D1 симметрическая и положительно определенная по условию леммы. Не считая того,
f(y1 )T d1 = – f(y1 )T Метод Дэвидона-Флетчера-Пауэлла - реферат D1 f(y1 ) < 0, потому что D1 положительно определена. Тогда по аксиоме 1 вектор d1 определяет направление спуска. Представим, что утверждение леммы справедливо для некого j £ n – 1, и покажем, что оно справедливо для j+1. Пусть x – ненулевой вектор из En , тогда из (1) имеем

(4)

Потому что Dj – симметрическая положительно определенная матрица, то существует положительно Метод Дэвидона-Флетчера-Пауэлла - реферат определенная матрица Dj 1 /2 , такая, что Dj = Dj 1 /2 Dj 1 /2 . Пусть
a = Dj 1 /2 x и b = Dj 1 /2 qj . Тогда xT Dj x = aT a, qj T Dj qj = bT b и xT Dj qj = aT b. Подставляя эти выражения в (4), получаем :

(5)

По неравенству Шварца имеем (aT a)(bT b) ³ (aT b Метод Дэвидона-Флетчера-Пауэлла - реферат)2 . Таким макаром, чтоб обосновать, что xT Dj+1 x ³ 0, довольно показать, что pj T qj > 0 и bT b > 0. Из (2) и (3) следует, что

pj T qj = lj dj T [ f(yj+1 ) – f(yj )]. (6)

По предположению f(yj ) ¹ 0, и Dj положительно определена, так что
f(yj )T Dj f(yj ) > 0. Не считая того, dj Метод Дэвидона-Флетчера-Пауэлла - реферат – направление спуска, и, как следует, lj > 0. Тогда из (6) следует, что pj T qj > 0. Не считая того, qj ¹ 0, и , как следует, bT b= qj T Dj qj > 0.

Покажем сейчас, что xT Dj+1 x > 0. Представим, что xT Dj+1 x = 0. Это может быть исключительно в том случае, если Метод Дэвидона-Флетчера-Пауэлла - реферат (aT a)(bT b) = (aT b)2 и pj T x = 0. Сначала заметим, что
(aT a)(bT b) = (aT b)2 только при a = lb, т.е. Dj 1 /2 x = lDj 1 /2 qj . Таким макаром, x = lqj . Потому что x ¹ 0, то l ¹ 0. Дальше, 0 = pj T x = l pj T qj противоречит тому, что Метод Дэвидона-Флетчера-Пауэлла - реферат pj T qj > 0 и l ¹ 0. Как следует, xT Dj+1 x > 0, т.е. матрица Dj+1 положительно определена.

Так как f(yj +1 ) ¹ 0 и Dj+1 положительно определена, имеем
f(yj +1 )T dj+1 = – f(yj +1 )T Dj+1 f(yj +1 ) < 0. Отсюда по аксиоме 1 следует, что dj+1 – направление спуска.

Лемма подтверждена.

Квадратичный случай.

В предстоящем Метод Дэвидона-Флетчера-Пауэлла - реферат нам пригодиться :

Аксиома 2. Пусть f(x) = cT x + 1 xT Hx, где Н - симметрическая матрица порядка n x n. Разглядим Н - сопряженные векторы d1 , …, dn и произвольную точку x1 . Пусть lk для k = 1, …, n - наилучшее решение задачки минимизации
f(xk + ldk ) при l Î Е1 и xk+1 = xk + ldk . Тогда для k Метод Дэвидона-Флетчера-Пауэлла - реферат = 1, …, n справедливы последующие утверждения :

1. f(xk+1 )T dj = 0, j = 1, …, k;

2. f(x1 )T dk = f(xk )T dk ;

3. xk+1 является хорошим решением задачки минимизации f(x) при условии
x - x1 Î L(d1 , …, dk ), где L(d1 , …, dk ) – линейное подпространство, натянутое на векторы d1 , …, dk , другими словами А именно, xn Метод Дэвидона-Флетчера-Пауэлла - реферат+1 – точка минимума функции f на Еn .

Если мотивированная функция f квадратичная, то в согласовании со сформулированной ниже аксиомой 3 направления d1 , …, dn , генерируемые способом Дэвидона - Флетчера - Пауэлла, являются сопряженными. Как следует, в согласовании с утверждением 3 аксиомы 2 способ останавливается после окончания одной итерации в хорошей точке. Не считая того, матрица Dn+1 , приобретенная в Метод Дэвидона-Флетчера-Пауэлла - реферат конце итерации, совпадает с оборотной к матрице Гессе Н.

Аксиома 3 . Пусть Н – симметричная положительно определенная матрица порядка n x n. Разглядим задачку минимизации f(x) = cT x + 1 xT Hx при условии x Î En . Представим, что задачка решена способом Дэвидона - Флетчера - Пауэлла при исходной точке y1 и исходной Метод Дэвидона-Флетчера-Пауэлла - реферат положительно определенной матрице D1 . А именно, пусть lj , j = 1, …, n, – среднее решение задачки минимизации f(yj + ldj ) при l ³ 0 и yj +1 = yj + lj dj , где dj = -Dj f(yj ), а Dj определяется по формулам (1) – (3). Если f(yj ) ¹ 0 для всех j, то направления
d1 , …, dn являются Н - сопряженными Метод Дэвидона-Флетчера-Пауэлла - реферат и Dn+1 = H-1 . Не считая того, yn+1 является хорошим решением задачки.

Подтверждение.

Сначала покажем, что для j, такового, что 1 £ j £ n, справедливы последующие утверждения :

1. d1 , …, dj линейно независимы.

2. dj T Hdk = 0 для i ¹ k; i, k £ j.

3. Dj+1 Hpk , либо, что эквивалентно, Dj+1 Hdk = dk для 1 £ k £ j, pk Метод Дэвидона-Флетчера-Пауэлла - реферат = lk dk .

Проведем подтверждение по индукции. Для j = 1 утверждения 1 и 2 явны. Чтоб обосновать утверждение 3, заметим сначала, что для хоть какого k справедливы равенства

Hpk = H(lk dk ) = H(yk+1 - yk ) = f(yk+1 ) – f(yk ) = qk . (7)

А именно, Hp1 = q1 . Таким макаром, полагая j = 1 в (1), получаем

,

т.е. утверждение 3 справедливо при j Метод Дэвидона-Флетчера-Пауэлла - реферат = 1.

Сейчас представим, что утверждения 1, 2 и 3 справедливы для j £ n – 1. Покажем, что они также справедливы и для j + 1. Напомним, что по утверждению 1 аксиомы 2 di T f(yj+1 ) = 0 для i £ j. По индуктивному предположению di = Dj+1 Hdi , i £ j. Таким макаром, для i £ j имеем

0 = di T f(yj+1 ) = di T HDj Метод Дэвидона-Флетчера-Пауэлла - реферат+1 f(yj+1 ) = –di T Hdj+1 .

Ввиду догадки индукции это равенство указывает, что утверждение 2 также справедливо для j+1.

Сейчас покажем, что утверждение 3 справедливо для j+1.

Полагая k £ j+1, имеем

. (8)

Беря во внимание (7) и полагая k = j + 1 в (8), получим, что Dj+2 Hpj+1 = pj+1 . Сейчас пусть k £ j. Потому что утверждение 2 справедливо Метод Дэвидона-Флетчера-Пауэлла - реферат для j + 1, то

pj+1 T Hpk = lk lj+1 dj+1 T Hdk = 0. (9)

По предположению индукции из (7) и вследствие того, что утверждение 2 справедливо для j + 1, получаем

. (10)

Подставляя (9) и (10) в (8) и беря во внимание предположение индукции, получаем

.

Таким макаром, утверждение 3 справедливо для j+1.

Осталось показать, что утверждение 1 справедливо для j+1. Представим, что . Умножая это равенство на Метод Дэвидона-Флетчера-Пауэлла - реферат и беря во внимание, что утверждение 2 справедливо для j+1, получаем, что . По условию аксиомы , а по лемме 1 матрица положительно определена, так что . Потому что H положительно определена, то и, как следует, . Отсюда следует, что , и потому что d1 , …, dj линейно независимы по предположению индукции, то для i = 1, …, j. Таким макаром, d Метод Дэвидона-Флетчера-Пауэлла - реферат1 , …, dj +1 линейно независимы и утверждение 1 справедливо для j+1. Как следует, утверждения 1, 2 и 3 производятся. А именно сопряжённость d1 , …, dn следует из утверждений 1 и 2, если положить j = n.

Пусть сейчас j = n в утверждении 3. Тогда для k = 1, …, n. Если в качестве D взять матрицу, столбцами которой являются векторы d1 , …, dn , то Метод Дэвидона-Флетчера-Пауэлла - реферат . Потому что D имеет оборотную, то , что может быть исключительно в том случае, если . В конце концов, является хорошим решением по аксиоме 2.

Аксиома подтверждена.


Перечень литературы.

1. Рынка М., Шетти К. «Нелинейное программирование. Теория и алгоритмы». М., 1982.

2. Химмельблау Д. «Прикладное нелинейное программирование». М., 1975.


metallurgicheskij-kompleks.html
metallurgicheskogo-rajona-goroda-chelyabinska.html
metallurgiya-i-metalloobrabotka.html