Вопрос или проблема
Я использую итеративный метод максимального правдоподобия для подгонки вероятностного распределения. В частности, я использую смесительную модель фон Мизеса-Фишера (сферическую гауссову смесь), и действительно существует закрытая форма итеративной формулы обновления E-M. Однако мне крайне трудно проводить выборки при ограниченном бюджете производительности, поэтому я могу использовать не более 4 выборок (1 или 2 выборки предпочтительнее) на обновление.
Я уже знаю, что для VMM (я использую двухкомпонентный VMM в 3D пространстве, что означает, что есть два распределения vMF, и каждая выборка является 3D единичным вектором), использование только одной выборки математически нарушит оценку (см. данный материал, уравнения 13 и 14), поскольку сферическая дисперсия будет бесконечной. Тем не менее, использование только двух выборок, вместе со средним значением параметров (с предыдущими параметрами, например, выпуклая смесь) все равно будет давать плохие оценки, в частности, сферическая дисперсия мала ($\kappa$ огромен, и PDF сосредоточена вокруг выборок). Это, конечно, нежелательно.
Мой вопрос:
- Существует ли какой-либо золотой стандарт, описывающий взаимосвязь между количеством необходимых выборок и качеством оценки?
- Как scarcity выборок влияет на методы EM или другие методы MLE на каждой итерации?
- Есть ли предложения по повышению надежности и точности этой проблемы разреженных выборок MLE?
Ответ или решение
Ответ на вопрос о влиянии количества образцов на алгоритм EM
Алгоритм максимального правдоподобия (EM) является мощным инструментом для оценки параметров скрытых переменных в статистических моделях. Однако, использование ограниченного количества образцов на обновление в соответствии с вашим вопросом может значительно повлиять на производительность и точность оценок. Ниже приведены ответы на ваши вопросы:
-
Золотой стандарт: количество образцов и производительность оценки.
К сожалению, нет универсального «золотого стандарта», который бы четко задавал соотношение между количеством образцов и производительностью оценки в рамках EM-алгоритма. Однако, можно утверждать, что увеличение числа образцов, используемых на каждую итерацию, обычно приводит к более стабильной и точной оценке параметров. С нехваткой образцов ваши оценки будут подвержены большему уровню случайного разброса и недостаточной надежности. -
Влияние редкости образцов на EM и другие методы MLE.
В условиях недостатка данных, как вы отметили, при использовании EM-алгоритма возникают две основные проблемы:- Нестабильность оценок: С слишком малым количеством образцов, например, 1-2, результаты могут существенно варьироваться от итерации к итерации, что затрудняет сходимость алгоритма.
- Проблемы с априорными предположениями: При минимальных данных ваш алгоритм может исказить истинные параметры, приводя к неверным выводам из-за неустойчивой оценки параметров распределения (как например, высокие значения spherical variance или корреспонденция наклоненных PDF).
-
Устойчивость и точность оценки с помощью Sparse MLE.
Вот несколько рекомендаций, чтобы сделать вашу задачу более устойчивой к недостатку образцов:- Регуляризация: Внедрение методов регуляризации — таких как добавление априорной информации о параметрах — может помочь улучшить оценки в условиях дефицита данных.
- Сглаживание: Попробуйте использовать методы сглаживания, чтобы избежать излишнего концентрации оценок вероятности вблизи полученных образцов.
- Комбинирование данных: Если это применимо, попробуйте объединить данные из разных источников или последовательным образом, чтобы получить больше информации.
- Разумные стратеги обновления параметров: Вместо того, чтобы использовать только средние оценки, вы можете использовать градиенты или более сложные техники обновления, такие как использование доверительных интервалов.
В заключение, хотя количество образцов на итерацию EM-алгоритма очень важно, все же часто предпочтительнее иметь чуть больше образцов с более качественной выборкой, чтобы избежать проблем с шумом и искажениями оценки.