Как извлечь векторные представления категориальных переменных

Я немного запутался с кодированием категориальных переменных. Есть другие посты/блог-посты по этой теме, но ни один из них не обсуждает проблему, с которой я сталкиваюсь.

У меня есть набор данных со смешанными переменными (то есть числовыми и категориальными). Некоторые из категориальных переменных имеют много категорий (почти 100). Поэтому вместо использования One Hot encoders, я ищу возможность использовать эмбеддинги.

Моя цель: использовать эмбеддинги категориальных переменных, извлечь их и объединить с моими числовыми переменными, чтобы сформировать матрицу дизайна/обучения, а затем запустить автокодировщик на этом (причина запуска автокодировщика – обнаружение аномальных данных).

Я собрал небольшой фрагмент кода (см. ниже), но что меня путает, так это как извлечь эмбеддинги, чтобы объединить их с моими числовыми переменными. Мне нужно знать это, потому что когда появляются новые данные, мне нужны эмбеддинги, чтобы запустить их через предсказание для изоляции любых “странных” точек данных от ошибки реконструкции.

from keras.models import Model
from keras.layers import Input, Dense, Concatenate, Reshape, Dropout
from keras.layers.embeddings import Embedding

inputs = []
embeddings = []

# для категориальных переменных
for cat in cat_model_vars:
    inp = Input(shape=(1,))
    inputs.append(inp)
    emb = Embedding(cat_sizes[cat]+1,cat_embedding_size[cat], input_length=1,name=f"{cat}_embedding")(inp)
    emb = Reshape(target_shape=(cat_embedding_size[cat],))(emb)
    embeddings.append(emb)

# для непрерывных/числовых переменных

inp_num = Input(shape=(len(num_model_vars),),name="cont_vars")
emb_num = Dense(10)(inp_num)
inputs.append(inp_num)
embeddings.append(emb_num)

# объединить эмбеддинги, это будет входом в нашу модель автокодировщика
output = Concatenate()(embeddings)

#%%

# построить стековый автокодировщик ниже и передать выход как его вход и выход

en_x = Dense(50, activation = 'relu')(output)
en_x = Dense(32, activation = 'relu')(en_x)
en_x = Dense(16, activation = 'relu')(en_x)
en_x = Dense(4, activation = 'relu')(en_x)

de_x = Dense(16, activation = 'relu')(en_x)
de_x = Dense(32, activation = 'relu')(de_x)
de_x = Dense(50, activation = 'relu')(de_x)

output = Dense(25, activation = 'relu')(de_x)

stacked_ae_model = Model(inputs, output)
stacked_ae_model.compile(loss="mean_squared_error",optimizer="Adam",
                         metrics=['mse','mape'])

"""НЕОБХОДИМО ИЗВЛЕЧЬ ЭМБЕДДИНГИ, КОТОРЫЕ ИСПОЛЬЗУЮТСЯ В КАЧЕСТВЕ ВХОДА ДЛЯ СТЕКОВОГО АВТОКОДИРОВЩИКА (НЕ СДЕЛАНО ЕЩЕ)"""

Теперь мне нужно будет запустить обучение и предсказание. Но я не уверен, как извлечь эмбеддинги, чтобы я мог использовать их для обучения.

Любая помощь будет весьма признательна.

Спасибо и всего доброго.

Если у вас есть модель с несколькими входами, вы должны передать dataframe в модель в виде словаря строк. Разделите dataframe на 2 dataframe – категориальные и числовые.
Категориальный dataframe преобразуйте в словарь с помощью train_df.to_dict('list') и объедините в нем числовой dataframe как 1 многомерную переменную с именем “cont_vars”.
Также вы должны дать имена всем входным колонкам:

for cat in cat_model_vars:
   inp = Input(shape=(1,), name=cat)

inp_num = Input(shape=(len(num_model_vars),),name="cont_vars")

Обновите dataframe (не тестировалось):

train_df2 = train_df[cat_model_vars]
train_df2['cont_vars'] = train_df[cont_model_vars].values.tolist()
train_df = train_df2

Пример преобразования pandas dataframes в тензоры:

test_data = tf.data.Dataset.from_tensor_slices(test_df.to_dict('list')).batch(BATCH_SIZE).cache()
train_data = tf.data.Dataset.from_tensor_slices((train_df.to_dict('list'), labels)).shuffle(10000).batch(BATCH_SIZE, drop_remainder=True).cache()

Наконец, обучите и предскажите модель:

model.fit(train_data, epochs=100)
y_pred_test = model.predict(test_data, batch_size=BATCH_SIZE)