Метод Дэвидона-Флэтчера-Пауэла

Реальная разница алгоритмов метода переменной метрики заключается в нахождении . В этом алгоритме матрица имеет ранг 2. Как и в предыдущем случае, матрица перевычисляется таким образом, чтобы для квадратичной функции после шагов она совпала с матрицей .

Исходная матрица обычно выбирается единичной: . Хотя предпочтительней задание начального приближения элементов этой матрицы аналитическими значениями вторых частных производных или их конечно-разностными приближениями. Соотношение для в алгоритме Дэвидона-Флетчера-Пауэлла можно получить путем подстановки

в уравнение (6)  .

Тогда получим:

.      (8)

Следует отметить, что и являются симметрическими матрицами, так что симметрическая и будет симметрической.

Этот алгоритм является одним из наиболее эффективных алгоритмов переменной метрики. Алгоритм, использующий соотношение (8), оказывается достаточно эффективным при выполнении следующих условий:

1. Ошибки округления при вычислении невелики.

2. И матрица в процессе вычислений не становится "плохой".

В ходе оптимизации этим методом происходит постепенный переход от градиентного направления спуска к ньютоновскому. При этом используются преимущества каждого метода на соответствующем этапе.

Роль матриц в (8) заключается в обеспечении того, чтобы , тогда как матрица обеспечивает положительную определенность матрицы на всех этапах и в пределе их сумма исключает начальную матрицу . Используем (8) на нескольких этапах, начиная с :

,

,

. . .

В случае квадратичной целевой функции при должно выпол­няться равенство  , а сумма матриц строится таким образом, чтобы она сократилась с начальным значением .

При квадратичной функции используемые направления поиска являются сопряженными. Именно это определяет эффективность алгоритма.