TF Keras Обработка текста – Модель классификации

Я пытаюсь составить скрипт, который классифицирует комментарии на адекватные и неадекватные. Я ранее задавал вопрос здесь с полным кодом, но думаю, что изолировал проблему в настройке модели, поэтому я его удалил и надеюсь, что это более упрощенный и понятный вариант. Пример, который я пытаюсь воспроизвести, – это классический комментарий IMDB, где комментарии либо положительные, либо отрицательные, но в моем случае – адекватные или нет. Мой токенизатор и очистка текста, а также дополнение работают хорошо, и у меня есть обучающий набор данных, который корректно возвращает токенизированные последовательности. Я думаю, что моя основная ошибка заключается в следующем:

model = tf.keras.Sequential([
        tf.keras.layers.Embedding(10000, 300),
        tf.keras.layers.GlobalAveragePooling1D(),
        tf.keras.layers.Dense(1, activation = 'sigmoid')])

model.summary()

model.compile(optimizer="adam", loss="binary_crossentropy", metrics = ['accuracy'])

es = tf.keras.callbacks.EarlyStopping(monitor="val_accuracy", mode="max")

callbacks = [es]
history = model.fit(train_seqs, train_df['adq'].values,
                    batch_size = BATCH_SIZE,
                    epochs = EPOCHS,
                    verbose = 2,
                    validation_split = 0.2,
                    callbacks = callbacks)

model.evaluate(test_seqs, test_df['adq'].values)

Главная проблема с выводом заключается в том, что когда я запускаю модель для предсказания комментариев без классификации, модель возвращает одно и то же значение для каждого отдельного комментария. Я провел некоторые исследования, и люди предлагали нормализовать пакет, и я пробовал добавить слой нормализации пакета в свою модель, но это не помогло. Можете ли вы, пожалуйста, взглянуть и показать мне, где я ошибаюсь? Большое спасибо за вашу помощь!

Вот весь мой скрипт согласно моему комментарию ниже:

import pandas as pd
import tensorflow as tf
import pickle
import string
import re

NUM_WORDS = 10000
SEQ_LEN = 512
EMBEDDING_SIZE = 300
BATCH_SIZE = 70
EPOCHS = 20
HIGHEST_PROTOCOL = 3
THRESHOLD = 0.60

train_df = pd.read_csv(r'C:\Users\peter\OneDrive\Documents\IMDBtrain.csv')
test_df = pd.read_csv(r'C:\Users\peter\OneDrive\Documents\IMDBtest.csv')

def clean_text(text, remove_stopwords=True):
    '''Очистить текст с опцией удаления стоп-слов'''

    # Привести слова к нижнему регистру и разбить их
    text = text.lower().split()

    # При желании, удалить стоп-слова
    if remove_stopwords:
        stops = ['i', 'me', 'my', 'myself', 'we', 'our', 'ours', 'ourselves', 'you', 'your', 'yours',
                 'yourself', 'yourselves', 'he', 'him', 'his', 'himself', 'she', 'her', 'hers', 'herself',
                 'its', 'its', 'itself', 'they', 'them', 'their', 'theirs', 'themslves', 'what', 'which',
                 'who', 'whom', 'this', 'that', 'these', 'those', 'am', 'is', 'are', 'was', 'were', 'be',
                 'been', 'be', 'being', 'have', 'has', 'had', 'having', 'do', 'does', 'did', 'doing', 'a',
                 'an', 'the', 'and', 'but', 'if', 'or', 'because', 'as', 'until', 'while', 'of', 'at',
                 'by', 'for', 'with', 'about', 'against', 'between', 'into', 'through', 'during', 'before',
                 'after', 'above', 'below', 'to', 'from', 'up', 'down', 'in', 'out', 'on', 'off', 'over',
                 'under', 'again', 'further', 'then', 'once', 'here', 'there', 'when', 'where', 'why',
                 'how', 'all', 'any', 'both', 'each', 'few', 'most', 'more', 'other', 'some', 'such', 'no',
                 'nor', 'not', 'only', 'own', 'same', 'so', 'than', 'too', 'very', 's', 't', 'can', 'will',
                 'just', 'don', 'should', 'now']
        text = [w for w in text if not w in stops]

    text = " ".join(text)

    # Очистить текст
    text = re.sub(r"<br />", " ", text)
    text = re.sub(r"[^a-z]", " ", text)
    text = re.sub(r"   ", " ", text) # Удалить лишние пробелы
    text = re.sub(r"  ", " ", text)

    # Вернуть список слов
    return(text)

train_df["text"] = train_df["text"].apply(lambda x: clean_text(x))
test_df["text"] = test_df["text"].apply(lambda x: clean_text(x))
train_df = train_df.sample(frac = 1).reset_index(drop = True)
test_df = test_df.sample(frac = 1).reset_index(drop = True)

tokenizer = tf.keras.preprocessing.text.Tokenizer(num_words = NUM_WORDS, oov_token = '<UNK>')
tokenizer.fit_on_texts(train_df['text'])

train_seqs = tokenizer.texts_to_sequences(train_df['text'])
test_seqs = tokenizer.texts_to_sequences(test_df['text'])

train_seqs = tf.keras.preprocessing.sequence.pad_sequences(train_seqs, maxlen = SEQ_LEN, padding = 'post')
test_seqs = tf.keras.preprocessing.sequence.pad_sequences(test_seqs, maxlen = SEQ_LEN, padding = 'post')

model = tf.keras.Sequential([
        tf.keras.layers.Embedding(NUM_WORDS, EMBEDDING_SIZE),
        tf.keras.layers.GlobalAveragePooling1D(),
        tf.keras.layers.Dense(1, activation = 'sigmoid')])

model.summary()

model.compile(optimizer="adam", loss="binary_crossentropy", metrics = ['accuracy'])

es = tf.keras.callbacks.EarlyStopping(monitor="val_accuracy", mode="max")

callbacks = [es]
history = model.fit(train_seqs, train_df['adq'].values,
                    batch_size = BATCH_SIZE,
                    epochs = EPOCHS,
                    validation_split = 0.2,
                    callbacks = callbacks)

model.evaluate(test_seqs, test_df['adq'].values)

model.save('model.ps1')
with open('tokenizer.pickle', 'wb') as handle:
    pickle.dump(tokenizer, handle, protocol = pickle.HIGHEST_PROTOCOL)

del model
del tokenizer

loaded_model = tf.keras.models.load_model('model.ps1')

with open('tokenizer.pickle', 'rb') as f:
    loaded_tokenizer = pickle.load(f)

def prepare_predict_data(tokenizer, comments):
    seqs = tokenizer.texts_to_sequences(comments)
    seqs = tf.keras.preprocessing.sequence.pad_sequences(seqs, maxlen = SEQ_LEN, padding = 'post')
    return seqs

comments_to_pred = pd.read_csv(r'C:\Users\peter\OneDrive\Documents\IMDBload.csv')
my_comments = comments_to_pred.to_numpy().tolist()

my_seqs = prepare_predict_data(loaded_tokenizer, my_comments)
preds = loaded_model.predict(my_seqs)
pred_df = pd.DataFrame(columns = ['text', 'adq'])
pred_df['text'] = my_comments
pred_df['adq'] = preds
print(pred_df.head(20))
pred_df['adq'] = pred_df['adq'].apply(lambda x: 'pos' if x > THRESHOLD else 'neg')
#print(pred_df.head(40))
```

Вы применяете глобальное усреднение к своему слою встраивания. Убедитесь, что это делается по словам, а не по оси встраивания. Если выходные данные вашего встраивания имеют форму (Пакет, Слова, 300), вам нужно применить GlobalAveragePool1D к оси 1 (слова).

Однако одна проблема может заключаться в том, что, усредняя по словам, вы искажаете данные из-за дополнения вашего ввода. Если вы дополните 10-словеый ввод до 25, а затем возьмете среднее на всех 25, где 15 из 25 – нули, вы будете искажать усреднение почти случайно (случайно в зависимости от длины ввода), что ваша не-рекуррентная модель не сможет понять. Вам следует добавить дополнительный слой Lambda, чтобы усреднять только по длине ввода и передавать длину ввода в качестве дополнительного входного значения.