Суммирование самовнимания и потеря информации

В самовнимании внимание для слова вычисляется следующим образом:

$$
A(q, K, V) = \sum_{i} \frac{exp(q.k^{<i>})}{\sum_{j} exp(q.k^{<j>})}v^{<i>}
$$

Мой вопрос: почему мы суммируем векторы множественночности * Значение. Разве это не теряет информацию о том, какие другие слова в частности важны для рассматриваемого слова?

Иными словами, как этот суммированный вектор указывает, какие слова являются актуальными?

Например, рассмотрим два крайних сценария, в которых практически весь выход зависит от вектора внимания слова $x^{<t>}$, и один, в котором он зависит от вектора слова $x^{<t+1>}$. Возможно, что $A(q, K, V)$ имеет точно такие же значения в обоих сценариях.

Должен признать, что существует предположение, что $A(q, K, V)$ представляет собой схожесть между q и словами в предложении. На самом деле $A(q, K, V)$ кодирует отношения от q к словам в предложении.

Информация о какие другие слова в частности важны для рассматриваемого слова уже закодирована в $q \cdot k^{<i>}$.

Предположим, есть предложение я люблю суши, $v^{<i>}$ – это вектор позиционно закодированного встраивания слова для каждого слова, а рассматриваемое слово $q = v^{<1>}$, которое соответствует люблю.

$v^{<0>} = я\\
v^{<1>} = люблю\\
v^{<2>} = суши$

$scale(i)=\frac{exp(q.k^{<i>})}{\sum_{j} exp(q.k^{<j>})}$ количественно определяет, насколько сильно связь между люблю и $v^{<i>}$.

$\frac{exp(q.k^{<i>})}{\sum_{j} exp(q.k^{<j>})}v^{<i>}$ или $scale(i)v^{<i>}$ – это масштабирование каждого вектора $v^{<i>}$ пропорционально тому, насколько сильно связано $v^{<i>}$ с люблю.

Агрегирование всех масштабированных векторов $\sum_{i} scale(i)v^{<i>}$ создает новый вектор $A$, который кодирует отношения от q к словам в предложении.

Вектор $A$ проходит через нейронную сеть, а обратное распространение на масштабирование и агрегацию – это то, как Трансформер изучает отношения между q и предложением.

Вот отрывок из Обработки речи и языка Глава 9.

Чтобы эффективно использовать эти оценки, мы нормализуем их с помощью softmax, чтобы создать вектор весов, $\alpha_{ij}$, который указывает на пропорциональную значимость каждого входного элемента по отношению к элементу входа $i$, который в данный момент является объектом внимания.

Моя интуиция; та же причина для нормализации между слоями. Ускоряет и стабилизирует процесс обучения, поддерживая выходные данные (входные данные для следующего слоя) в рамках.