Многопараметрический поиск
Милем и Кентреллом предложен метод поиска, основанный на использовании двух подбираемых параметров для минимизации в каждом направлении поиска. В этом алгоритме последовательность действий определяется формулой:
, (1)
где .
На каждом шаге решается задача минимизации по двум параметрам:
.
После чего находится очередное приближение по формуле (1).
На первом шаге , а должно быть задано. На -м шаге:
Вычисляется , и .
Пользуясь одним из эффективных методов, например, методом Ньютона находятся с требуемой точностью и .
По соотношению (1) вычисляют и переходят к пункту 1.
Каждый ()-й шаг начинается с .
Процесс заканчивается, когда .
На квадратичных функциях алгоритм по эффективности близок к методу сопряженных градиентов.
Крэгг и Леви распространили данный метод на случай большего числа параметров. На каждом шаге очередное приближение находится как
при , а, следовательно, на каждом шаге при минимизации в заданном направлении решается задача вида
.