Обратное распространение: Значение сигнала ошибки нейрона

Во время моего стремления понять обратное распространение ошибки более строго я наткнулся на определение сигнала ошибки нейрона, которое определяется следующим образом для $j^{\text{th}}$ нейрона в $l^{\text{th}}$ слое:
\begin{eqnarray}
\delta^l_j \equiv \frac{\partial C}{\partial z^l_j}
\tag{1}\end{eqnarray}

По сути, $\delta^l_j$ измеряет, насколько изменяется общая ошибка при изменении суммы входных значений нейрона и используется для вычисления весов и смещений нейронной сети следующим образом:

\begin{eqnarray}
\frac{\partial C}{\partial w^l_{jk}} = a^{l-1}_k \delta^l_j
\tag{2}\end{eqnarray}

\begin{eqnarray} \frac{\partial C}{\partial b^l_j} =
\delta^l_j.
\tag{3}\end{eqnarray}

Помимо полезности для вычисления весов и смещений, так как это позволяет несколько раз использовать его значение, есть ли какие-то другие причины, почему это определение всегда упоминается при обсуждении обратного распространения?

Позвольте мне объяснить одну вещь очень четко: “Нейронные сети — это очень простые структуры и в то же время очень эффективные алгоритмы, дающие удивительно хорошие результаты, и если вы обратите внимание, нейронные сети на самом деле представляют собой большие составные функции, которые требуют от вас вычисления градиентов, чтобы вы могли наблюдать, как выход изменяется в зависимости от ваших входных весов (это то, что достигается с помощью обратного распространения, используя градиентный спуск). Это просто цель, а именно — вычислить производные двух уравнений, которые вы упомянули (2) и (3)”.

Теперь, как вы сказали, вы можете вычислить его значение и переиспользовать его, т.е. уравнение (1), поскольку уравнение (1) здесь дает вам ошибку у нейрона j в слое ‘l’ относительно взвешенной суммы входов этого нейрона, оно полезно и необходимо для вычисления весов, когда потеря рассчитывается в ‘l’ слое (последнем слое), она затем обратнопропагируется в слой L-1, где вычисляется градиент, и затем обновляются веса. Именно уравнение (1) позволяет вам вычислить градиенты нейрона j в слое ‘l’, и затем матрица весов этого нейрона j обновляется, так что по сути уравнение (1) позволяет вам использовать уравнения (2) и (3) для оптимизации ваших весов с целью минимизации вашей функции потерь.

Еще одна вещь: если вы вычислите его производную, т.е. производную уравнения (1), ее частная производная будет: первая производная функции стоимости относительно функции активации * производная функции активации относительно взвешенной суммы входов * производная взвешенной суммы входов относительно весов вашего нейрона, так что это по сути цепочка, которая становится все длиннее, когда потеря обратнопропагируется через слои l-1, l-2, l-3… и так далее, таким образом уравнение (1) фактически вычисляется с использованием первых двух в указанной выше цепочке, которые затем используются для вычисления скорости изменения весов относительно вашей функции потерь. Вот почему, когда вы читаете о обратном распространении, это уравнение будет упомянуто, так как это своего рода механизм связи, который позволяет вам соотносить вашу потерю с нейронами в последующих слоях во время обратного распространения и соответственно обновлять их веса. Следовательно, по моему мнению, уравнение (1) само по себе является истинной сутью обратного распространения с использованием градиентного спуска.

Цель обратного распространения заключается в том, чтобы найти веса, которые минимизируют функцию стоимости, то есть веса, для которых функция стоимости вычисляет стоимость, как можно более низкую.

Функция стоимости нейронной сети имеет сложную форму (в всех случаях, кроме тривиальных примеров). Поэтому вы не можете вычислить ее минимум напрямую, используя алгебру. Вам нужно найти его итеративно, каждый раз находя набор весов, который немного снижает функцию стоимости. Это делается путем увеличения весов, если производная (1) отрицательна, и уменьшения их, если она положительна. Эта численная процедура называется обратным распространением, и поскольку производные являются такой центральной частью этого процесса, они всегда упоминаются в объяснении.

Хранение и повторное использование значений производных не обязательно, но делает вычисление быстрее. Это то, что называется “деталь реализации”.

Насколько я могу понять, вы знаете вывод и просто хотите понять, почему мы используем сигнал ошибки, когда говорим об обратном распространении. Вы правильно сказали, что это полезно для вычисления весов и смещений, и это именно основная причина, почему это стандартизировано. Вот аккуратный вывод, который использует сигнал ошибки:

Процесс обратного распространения сигнала ошибки может итеративно двигаться назад до входного слоя, последовательно проецируя
$\delta_k$ (сигнал ошибки для выходного слоя) обратно через $w_{jk}$, затем
через функцию активации скрытого слоя с помощью $g’_j$, чтобы
получить сигнал ошибки $\delta_j$, и так далее. Эта концепция обратного распространения
является центральной для обучения нейронных сетей с более чем одним
слоем.

Также это полезно, чтобы избежать повторного вычисления одних и тех же значений снова и снова. Если мы не стандартизируем эту концепцию, нам придется повторно вычислять одни и те же значения, и по мере углубления в сеть вычисление градиентов станет более трудоемким.

Используя концепцию сигнала ошибки для вычисления градиентов весов в любом слое $l$ в произвольно глубокой нейронной сети, нам просто нужно вычислить обратнопропагируемый сигнал ошибки, который достигает этого слоя $\delta_l$, и взвесить его по сигналу прямого распространения $a_{l-1}$, поступающему в этот слой.

Таким образом, использование сигнала ошибки является неотъемлемой частью техники обратного распространения и составляет основу его вывода!

Я предполагаю, что вы ознакомились с этим постом ГЛАВА 2 Как работает алгоритм обратного распространения.

$$
\begin{eqnarray}
\delta^L = (a^L-y) \odot \sigma'(z^L).
\tag{30}\end{eqnarray}
$$,

$$
\begin{eqnarray}
\delta^l = ((w^{l+1})^T \delta^{l+1}) \odot \sigma'(z^l).
\tag{BP2}\end{eqnarray}
$$

Включая вашу формулу $2$ и $3$ называется Четыре фундаментальных уравнения за обратным распространением в этом отличном посте.

И из формулы $\text{BP2}$ мы можем сказать, что $\delta^{l+1}$ напрямую приводит к $\delta^{l}$, так что нет необходимости снова вычислять градиент $z^l$ из функции стоимости.

Более того, как только мы получили $\delta^{l}$, мы можем вычислить $\delta^{l-1}$, $\frac{\partial C}{\partial w^l}$ и $\frac{\partial C}{\partial b^l}$ в соответствии с формулой $\text{BP2}$ и вашей формулой $2, 3$. Затем мы продолжаем, чтобы получить градиенты всех параметров.