activation-function

Вопрос или проблема Один неактивированный нейрон представляет собой просто линейную комбинацию его входов. Пороговая функция выхода этого нейрона относительно 0 создаст гиперплоскость бинарного разделителя, параметры которой можно обучить.

Вопрос или проблема Мне интересно, какая активационная функция для многоклассовой классификации дает истинную вероятность. Согласно: https://ai.stackexchange.com/questions/37889/are-softmax-outputs-of-classifiers-true-probabilities похоже, что выходная

Вопрос или проблема Мне интересно, какая активационная функция будет легче для обучения (даст лучшую точность / наименьшую потерю) – SoftMax или сигмоида (для задачи многоклассовой классификации) Согласно: https://www.quora.

Вопрос или проблема Я читал эту статью, где я наткнулся на следующее утверждение в контексте “Почему мы используем сигмоидную функцию активации в нейронных сетях?”: Предположение о том, что зависимая переменная следует сигмоидной функции

Вопрос или проблема Контекст Я пытаюсь реализовать алгоритм YOLO в Keras. Вот что у меня есть на данный момент: i = Input(shape=(image_height,image_width, image_channels)) rescaled = Rescaling(1./255)(i) x = Conv2D(16, (1, 1))(rescaled) x = Conv2D(32

Вопрос или проблема Я создаю LSTM с keras, который имеет параметр activation в слое. Я читал, что масштабирование выходных данных должно соответствовать выходным значениям функции активации. Например, функция активации tanh выдает значения в диапазоне

Вопрос или проблема Я создаю нейронную сеть для распознавания написанных кириллических букв, и я выяснил, что, когда я использую активационную функцию tanh, это работает значительно лучше с PyTorch, чем с Keras. Код Keras: import tensorflow as tf from tensorflow.

Вопрос или проблема Я хочу реализовать эффективную и векторизованную функцию активации Maxout с использованием Python numpy. Вот статья, в которой была представлена “Maxout Network” (авторы Гудфеллоу и др.). Например, если k = 2: def maxout(x

Вопрос или проблема Исходя из вопросов ниже, я пришёл к выводу, что ReLu требует меньше вычислительных ресурсов и лучше справляется с разреженностью. Почему ReLU используется в качестве функции активации? Почему ReLU лучше других функций активации

Вопрос или проблема Я думал, что и PReLU, и Leaky ReLU это: $$f(x) = \max(x, \alpha x) \qquad \text{ где } \alpha \in (0, 1)$$ Keras, однако, имеет обе функции в документации. Leaky ReLU Исходный код LeakyReLU: return K.relu(inputs, alpha=self.

Вопрос или проблема Производная функции ReLU равна 1, когда входное значение больше 0, и 0, когда входное значение меньше или равно 0. В процессе обратного распространения она абсолютно не изменяет значение d(ошибка)/d(вес). Либо градиент умножается на 1, либо на 0.