Высокая точность на тестовых и валидационных данных, но все еще не удается предсказать на реальных данных

Здравствуйте, у меня классификация между двумя классами A и B, и я обучил модель CNN. У меня высокая точность на всех трех наборах данных: обучающем (98.7%), валидационном (99.3%) и тестовом (98%), но я все равно не могу предсказать на реальных данных. Кто-нибудь, пожалуйста, помогите разобраться с проблемой.
p.s. У меня сбалансированные данные.

train_augmented = ImageDataGenerator(rescale=1./255,
                                   rotation_range = 40,
                                   horizontal_flip = True,
                                   
                                   zoom_range = 0.2
                                   )
test_augmented = ImageDataGenerator(rescale=1./255)
validation_augmented = ImageDataGenerator(rescale=1./255)

training_set = train_augmented.flow_from_directory(train,
                                                    target_size=(150,150),
                                                    batch_size = 32,
                                                    class_mode="binary",
                                                    
                                                    color_mode="rgb",
                                                    shuffle=True
                                                    )
test_set = test_augmented.flow_from_directory(test,
                                                    target_size=(150,150),
                                                    batch_size = 32,
                                                    class_mode="binary",
                                                    color_mode="rgb",
                                                    shuffle=False
                                                    )
validation_set = validation_augmented.flow_from_directory(validation,
                                                    target_size=(150,150),
                                                    batch_size = 32,
                                                    class_mode="binary",
                                                    color_mode="rgb",
                                                    shuffle=False
                                                    )
model = Sequential()
model.add(Conv2D(32,(3,3),activation='relu',input_shape=(150,150,3)))
model.add(MaxPooling2D(pool_size=(2,2)))
model.add(Dropout(0.5))

model.add(Conv2D(64,(3,3),activation='relu'))
model.add(MaxPooling2D(pool_size=(2,2)))
model.add(Dropout(0.5))

model.add(Flatten())
model.add(Dense(256,activation='relu'))
model.add(Dropout(0.5))
model.add(Dense(1,activation='sigmoid'))
model.summary()
model.compile(Adam(learning_rate=0.001),loss="binary_crossentropy",metrics=['accuracy'])
history = model.fit_generator(training_set,
                    epochs = 30,
                    validation_data = validation_set)

Это означает, что ваши обучающие/валидационные/тестовые данные не являются представительными для реального мира.

Вам следует получить новые данные из реального мира и использовать их вместо этого.

Конечно, я доверяю, что ваши обучающие/валидационные/тестовые директории не содержат дубликатов.

Прежде всего, сбалансирован ли ваш набор данных? Если нет, то точность — плохая метрика для использования, так как она будет сильно зависеть от наиболее представленного класса. Вы можете использовать F&-меру, которая будет лучше.

Вы уверены, что ваш тестовый набор отличается от обучающего набора?

В противном случае, как предлагает @nicolas-raoul, убедитесь, что ваши обучающий / тестовый наборы совпадают.

Удачи в вашем расследовании!