активационная функция для бинаризованных нейронных сетей

Я пытаюсь реализовать бинарную нейронную сеть с использованием keras и tensorflow. Вот мой текущий код:

import tensorflow as tf
from tensorflow import keras
from keras import datasets
from keras.utils.vis_utils import plot_model

from keras.layers import Activation
from keras import backend as K
from keras.utils.generic_utils import get_custom_objects


def sign(x):
    result = K.sign(x)
    return result


get_custom_objects().update({'custom_activation': Activation(sign)})

digit_data = datasets.mnist
(train_images, train_labels), (test_images, test_labels) = digit_data.load_data()

# import matplotlib.pyplot as plt
# plt.imshow(train_images[0])
# print(train_labels[0])
# print(train_images[0])

model = keras.Sequential([
    keras.layers.Flatten(input_shape=(28, 28)),
    keras.layers.Dense(784, Activation(sign, name="SpecialActivation")),
    keras.layers.Dense(10, activation=tf.nn.softmax)
])


# model = keras.Sequential([
#     keras.layers.Flatten(input_shape=(28, 28)),
#     keras.layers.Dense(128, activation=tf.nn.relu),
#     keras.layers.Dense(10, activation=tf.nn.softmax)
# ])

# plot_model(model, to_file="model_plot.png", show_shapes=True, show_layer_names=True)

model.compile(optimizer=tf.keras.optimizers.Adam(),
              loss="sparse_categorical_crossentropy",
              metrics=['accuracy'])

model.fit(train_images, train_labels, epochs=5)
test_loss, test_acc = model.evaluate(test_images, test_labels)
print(test_loss, test_acc)

Активационная функция, которую я сейчас использую, – это функция знака, которая возвращает -1, если x < 0 | 0, если x=0 | 1, если x > 0. Бинарной нейронной сети необходимо иметь функцию побитовой операции, которая возвращает +1, если x >= 0, и -1, если x < 0 (насколько я понимаю).

Я не уверен, как реализовать такой тип активационной функции.

Создайте пользовательскую функцию
Как объяснено в документации Keras для пользовательской активационной функции

Создание пользовательских активаций
Вы также можете использовать вызываемый TensorFlow в качестве активации (в этом случае он должен принимать тензор и возвращать тензор той же формы и типа):
model.add(layers.Dense(64, activation=tf.nn.tanh))

def custom_bin(x):
    return tf.where(x >= 0, 1.0 , -1)

import tensorflow as tf
from tensorflow import keras
model = keras.Sequential()

model.add(keras.layers.Dense( 3, activation="linear",input_shape=(5,)))
model.add(keras.layers.Dense( 3, activation="linear"))
model.add(keras.layers.Dense( 4, activation=custom_bin))
model.add(keras.layers.Dense( 2, activation="linear"))

model.summary()

Игрушечная НС для проверки выходного значения активации

Простая нейронная сеть со всеми весами = 1 и смещением = 0. Поэтому она будет сохранять знак выходного значения таким же, как и входного, т.е. (+Ve, 0, -Ve). Затем примените соответствующую функцию активации в выходном слое. Затем сделайте предсказание, используя 3 варианта использования.

def custom_bin(x):
    return tf.where(x >= 0, 1.0 , -1) 
   
import tensorflow as tf
from tensorflow import keras

#Случай I - tf.math.sign 
initializer = tf.keras.initializers.Ones()
model = keras.Sequential()
model.add(keras.layers.Dense( 2, activation="linear",input_shape=(2,),kernel_initializer=initializer))
model.add(keras.layers.Dense( 1, activation=tf.math.sign,kernel_initializer=initializer))
print(model.predict([[-5,-5],[0,0],[5, 5]]))

#Случай II - пользовательский if-then-else 
initializer = tf.keras.initializers.Ones()
model = keras.Sequential()
model.add(keras.layers.Dense( 2, activation="linear",input_shape=(2,),kernel_initializer=initializer))
model.add(keras.layers.Dense( 1, activation=custom_bin, kernel_initializer=initializer))
print(model.predict([[-5,-5],[0,0],[5, 5]]))

Выходные данные
[[-1.] [ 0.] [ 1.]]
[[-1.] [ 1.] [ 1.]]