Фон

Я конкретно говорю о неконвексных задачах оптимизации черного ящика следующего вида:

$ \text{min} f(\vec{x})$

$s.t. \ \ a_i\le x_i \le b_i \ \forall i\in \{1,2,…,n\} \ \ \ \text{и}\ \ \ \vec{a},\vec{b}\in \Bbb{R}^n $

Предположим, есть любое $n$

Интерес представляют глобальные оптимизаторы, которые дают хорошие решения, но эти решения не обязательно являются или доказуемо являются глобальным оптимумом.

Эволюционные алгоритмы

Эволюционные алгоритмы (ЭА) часто являются стандартными оптимизаторами для таких типов задач; такие методы включают: генетические алгоритмы, оптимизаторы роя частиц, дифференциальную эволюцию и все алгоритмы, основанные на взаимодействиях организмов. Практически каждый ЭА имеет стохастические компоненты. Будь то случайная инициализация, или стохастичность в межпоколенческих (или внутрипоколенческих) подпроцессах, таких как отбор для кроссовера или случайные мутации, стохастичность довольно распространена в области ЭА. Почти все, что вы найдете в этом журнале или в этом, подпадают под эту категорию.

Нестохастическая оптимизация против детерминированной глобальной оптимизации

Меня не интересуют детерминированные глобальные оптимизаторы. Такие методы предоставляют какую-то форму вероятности/уверенности или даже гарантии того, что найденное решение действительно является глобальным оптимумом. Они чаще встречаются в дискретной/комбинаторной оптимизации, но иногда некоторые детерминированные оптимизаторы становятся косвенно связанными, когда у пользователя есть какая-то форма апрiori знания/предположений. Предпочтение/необходимость детерминированных оптимизаторов очевидна, даже когда они лишь предоставляют связанную уверенность с решениями, которые они находят. Так что опять же, я не имею в виду их.

Нестохастические глобальные оптимизаторы

Я знаю только несколько нестохастических глобальных оптимизаторов. Возможно, самыми известными являются многие варианты алгоритмов прямого поиска (также называемых паттерн-поиском). Эти алгоритмы были задуманы Ферми и Метрополисом, затем популяризированы Хуком и Дживсом, и расширены до обобщенного паттерн-поиска (GPS), который активно использует положительные базы в качестве сеток, алгоритмы прямого поиска похожи на классический метод Нелдера-Мида тем, что они используют окрестность точек с подлежащей геометрической структурой для (детерминированного) исследования поискового пространства. Конечно, существуют и некоторые нестохастические варианты, включая выборку Лууса-Яаколы из равномерно распределенной окрестности или более популярный сетка адаптивного прямого поиска (MADS) и все его производные.

Есть и другие нестохастические глобальные оптимизаторы, скрывающиеся в интернете, такие как этот, но мне еще не удалось найти такой, который объясняет практическое значение нестохастичности.

Вопрос

Какие конкретные примеры использования нестохастического глобального оптимизатора, описанного в вышеупомянутом фоне?

Существуют ли ситуации, когда нестохастическая оптимизация является необходимой? Возможно, критически важная оптимизация или где необходима повторяемость? Может быть, что-то в медицинской области? Или для интерпретируемости?

Единственный пример, который я могу привести (приходя из области МЛ/ГЛ), это ситуация, когда это было бы слегка предпочтительно, но совсем не обязательно. В частности, мы могли бы обучить МЛ модель с использованием нестохастического алгоритма оптимизации, что позволило бы нам наблюдать за эффектами гиперпараметров модели МЛ. Другими словами, исключение стохастичности в оптимизаторе могло бы помочь интерпретировать/настраивать истинные гиперпараметры модели МЛ, так как вы могли бы увидеть причины/эффекты модификаций, где в настоящее время существует неопределенность из-за случайности, связанной с обучением.

Нестохастическая глобальная оптимизация может быть практичной для целенаправленного поиска в пространстве решений. Если есть апрори знание, это знание может направить оптимизацию в определенные области. Стохастическая глобальная оптимизация может неэффективно исследовать области пространства решений.

Конкретным примером нестохастической глобальной оптимизации является байесовская оптимизация. В байесовской оптимизации выборки не выбираются случайным образом. Выборки выбираются на основе рассчитанного апостериорного распределения, часто для максимизации ожидаемого улучшения.

Байесовская оптимизация использовалась во многих приложениях, включая настройку гиперпараметров машинного обучения.