Переход из точки в точку на -м шаге алгоритма Пауэлла осуществляется в соответствии с формулой:

.

При этом последовательно осуществляется минимизация исходной функции по сопряженным направлениям . Результатом минимизации по каждому из сопряженных направлений является система параметров , при которых функция минимальна в каждом из сопряженных направлений:

,       .

Начальную систему сопряженных направлений можно выбрать параллельной осям системы координат.

В конце каждой итерации алгоритма Пауэлла необходимо выбрать новую систему сопряженных направлений, так как если этого не сделать, то получим простой покоординатный поиск.

В основе построения новой системы лежит следующая теорема.

Теорема: Если при начальной точке поиска в направлении вектора минимум функции находится к точке , а при начальной точке поиск минимума функции в том же направлении приводит к точке , то при направление сопряжено с направлением поиска .

Следующий рисунок служит иллюстрацией теоремы.

Алгоритм метода сопряженных направлений Пауэлла

Шаг 1. Задать начальную точку Xo и систему N линейно независимых направлений Si.

Шаг 2. Минимизировать W(x) при последовательном движении по N+1 направлениям; при этом полученная ранее точка минимума берется в качестве исходной, а направление sN используется как при первом, так и при последнем поиске (,   ,  …,  ).

Шаг 3. Определить новое сопряженное направление с помощью обобщенного свойства параллельного подпространства.

Шаг 4. Заменить s1 на s2 и так далее. Заменить sN сопряженным направлением. Перейти к шагу 2.