Выбор подмножества населения таким образом, чтобы распределение определенной переменной в подмножестве соответствовало эталонному распределению.

У меня есть большая популяция ($P$) записей, и мне дана распределение определенной переменной ($x_0$) для конкретного подмножества ($S$) этой популяции. Подмножество $S$ не является случайной выборкой, и, следовательно, распределение $x_0$ для $S$ не обязательно совпадает с распределением $x_0$ для $P$.

Я хочу использовать все другие доступные переменные ($x_1…x_n$), чтобы выбрать другое подмножество $S’$ из набора ($P-S$), так что распределение $x_0$ для $S’$ совпадает с (или достаточно близко к) распределению для $S$. То есть $S’$ имитирует $S$ в отношении переменной $x_0$.

Я новичок в формальной науке о данных и не уверена, является ли машинное обучение лучшим способом решения этой проблемы. На данный момент моё запланированное решение заключается в обучении бинарного классификатора на ($P-S$), который минимизирует потерь, cuantifying разницу в JS-дивергенции целевого и полученного распределений, причем “полученное” определяется как записи с предсказанным баллом $y_0 > 0.5$, или каким-то другим числом, например. Затем тестирование этой модели на отдельных тестовых записях в ($P-S$) и применение отсечки $y_0 > 0.5$ должно дать мне $S’$.

Сработает ли эта стратегия? Есть ли более стандартный и элегантный способ сделать это?

Может быть, я не совсем понимаю ваш метод, но подозреваю, что в нем есть серьезная ошибка: если модель классифицирует экземпляры на основе того, удовлетворяют ли они условию распределения, это означает, что экземпляры (для классификатора) представляют собой собственные распределения (т.е. подмножества элементов), а не отдельные элементы популяции.

В этом варианте настоящая проблема заключается в том, как сгенерировать эти подмножества. Это возможно, но не тривиально. Я бы предложил генетический алгоритм (не бинарный классификатор), который оптимизирует JS-дивергенцию (например) от популяции подмножеств на каждом поколении, начиная с популяции случайных подмножеств.

Другой вариант – рассчитать эмпирическое распределение вероятностей и повторно провести выборку $P-S$, применив его:

• Определите некоторый параметр точности $\epsilon$ для размеров интервалов.
• Оцените эмпирическое распределение вероятностей $p(x_0 \in I)$ для каждого интервала $I$ длиной $\epsilon$.
• Подсчитайте начальную частоту $f(x_0 \in I)$ для каждого интервала $I$ (тех же интервалов) на $P-S$. Обратите внимание, что если есть какой-либо $I$, для которого $f(x_0 \in I)=0$ и $p(x_0 \in I)>0$, это означает, что $\epsilon$ должно быть увеличено.
• Мы хотим достичь распределения $p(x_0 \in I)$ на $P-S$, поэтому мы должны рассчитать новую частоту $f'(x_0 \in I)$ так, чтобы:
  • $f'(x_0 \in I) \leq f(x_0 \in I)$ для каждого $I$, иначе экземпляров недостаточно в $P-S$.
  • $f'(x_0 \in I) \approx n \times p(x_0 \in I)$ для какого-то $n>0$, чтобы удовлетворить распределению ($n$ должно быть как можно выше).

Таким образом, у нас есть:

$$n \leq \frac{f(x_0 \in I)}{p(x_0 \in I)}$$ для каждого $I$.

Мы получаем наивысший коэффициент $n$, который удовлетворяет этому условию:

$$n=min_I\left( \frac{f(x_0 \in I)}{p(x_0 \in I)}\right)$$

Как только $n$ найден, мы случайным образом выбираем $f'(x_0 \in I) \approx n \times p(x_0 \in I)$ экземпляров в $P-S$ для каждого интервала $I$.