Тензорфлоу простая нейронная сеть имеет очень плохую производительность в задачах регрессии (аппроксимации кривой).

Я пытаюсь реализовать очень простую однослойную МЛП для игрушечной задачи регрессии с одной переменной (размерность = 1) и одной целью (размерность = 1). Это простая задача подгонки кривой с нулевым шумом.

Matlab – Deep Learning Toolbox

Используя обратное распространение ошибки Левенберга-Маркуарда на МЛП с одним скрытым слоем из 100 нейронов и активацией гиперболическим тангенсом, я получил довольно хорошие результаты с почти нулевыми усилиями:

MSE = 7.18e-08

Вот график подгонки:

Редактировать:
Это рабочий код matlab. Обратите внимание, что функция “feedforwardnet(100)” просто создает объект сети с одним скрытым слоем из 100 нейронов и активацией tanh и выходным слоем с линейной активацией:

net = feedforwardnet(100);
net.trainParam.min_grad = 1e-25;
net.trainParam.max_fail = 50;
net.trainParam.epochs = 500;
%net1.trainParam.showWindow = false;
net.inputs{1,1}.processFcns = {};
net.outputs{1,2}.processFcns = {};
net = train(net,Train_Vars,Train_Target);
Test_Predictions = net(Test_Vars);
Accuracy = msemetric({Test_Predictions},{Test_Target});

Python – TensorFlow – Keras

С теми же настройками сети, которые я использовал в matlab, почти не происходит обучения. Невероятно, как бы я ни старался настроить параметры обучения или сменить оптимизатор.

MSE = 0.12900154

Я могу добиться чего-то лучшего, используя активации RELU для скрытого слоя, но мы все равно далеки:

MSE = 0.0582045

Вот код, который я использовал в Python:

#  ИМПОРТ БИБЛИОТЕК
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import tensorflow as tf
from tensorflow import keras


#  ИМПОРТ НАБОР ДАННЫХ ИЗ CSV ФАЙЛА, ПЕРЕМЕШАТЬ ОБУЧАЮЩИЙ НАБОР 
#  И СОЗДАНИЕ МАССИВА NUMPY ДЛЯ ОБУЧЕНИЯ (ДАННЫЕ УЖЕ НОРМАЛИЗОВАНЫ)
dataset_path = "C:/Users/Rob/Desktop/Learning1.csv"
Learning_Dataset = pd.read_csv(dataset_path
                          , comment="\t",sep=","
                          ,skipinitialspace=False)
Learning_Dataset = Learning_Dataset.sample(frac = 1)  # ПЕРЕМЕШИВАНИЕ


test_dataset_path = "C:/Users/Rob/Desktop/Test1.csv"
Test_Dataset = pd.read_csv(test_dataset_path
                          , comment="\t",sep=","
                          ,skipinitialspace=False)


Learning_Target = Learning_Dataset.pop('Target')
Test_Target = Test_Dataset.pop('Target')

Learning_Dataset = np.array(Learning_Dataset,dtype = "float32")
Test_Dataset = np.array(Test_Dataset,dtype = "float32")
Learning_Target = np.array(Learning_Target,dtype = "float32")
Test_Target = np.array(Test_Target,dtype = "float32")





#  ОПРЕДЕЛЕНИЕ ПРОСТОЙ МЛП МОДЕЛИ
inputs = tf.keras.layers.Input(shape=(1,))
x = tf.keras.layers.Dense(100, activation='relu')(inputs)
y = tf.keras.layers.Dense(1)(x)
model = tf.keras.Model(inputs=inputs, outputs=y)




#  ОБУЧЕНИЕ МОДЕЛИ
opt = tf.keras.optimizers.RMSprop(learning_rate = 0.001,
                                  rho = 0.9,
                                  momentum = 0.0,
                                  epsilon = 1e-07,
                                  centered = False)
early_stop = keras.callbacks.EarlyStopping(monitor="val_loss", patience=100)
model.compile(optimizer = opt,
              loss="mse",
              metrics = ['mse'])


model.fit(Learning_Dataset, 
          Learning_Target,  
          epochs=500, 
          validation_split = 0.2, 
          verbose=0, 
          callbacks=[early_stop], 
          shuffle = False, 
          batch_size = 100)




#  ИНФЕРЕНЦИЯ И ПРОВЕРКА ТОЧНОСТИ
Predictions = model.predict(Test_Dataset)
Predictions = Predictions.reshape(10000)

print(np.square(np.subtract(Test_Target,Predictions)).mean()) #  MSE

plt.plot(Test_Dataset,Test_Target,'o',Test_Dataset,Predictions,'o')
plt.legend(('Цель','Прогноз Модели'))
plt.show()

Что я делаю не так?

Спасибо

Я не уверен, какую функцию обучения сети использует ваш MATLAB feedforwardnet. Также, скорее всего, функция активации в вашем MATLAB net – ‘tansig’. Попробуйте использовать функцию активации ‘tanh’ в вашем коде python/keras.