Соотношение между размером пакета и количеством нейронов во входном слое

Что касается нейронных сетей LSTM, мне не удается понять взаимосвязь между размером пакета, количеством нейронов в входном слое и количеством “переменных” или “столбцов” на входе. (Предполагая, что связь существует и несмотря на примеры, показывающие обратное, я не могу понять, почему связи нет)

Для ясности я собираюсь использовать пример для формулировки своего вопроса.

Предположим, что набор данных содержит три столбца входных данных и один столбец выходных данных. Значит, это будет что-то вроде
входная переменная 1 входная переменная 2 входная переменная 3 выходная переменная 1

Насколько я понимаю, входной слой сети LSTM должен иметь 3 нейрона, соответствующих каждой из входных переменных. Он не может быть меньше или больше. Хотя я видел примеры, такие как этот ответ (который, как кажется, очень хорошо описан, но, к сожалению, я не могу его понять.)

Теперь скажем, что у нас есть 50 строк из вышеупомянутых 4 столбцов.

Что, по сути, для меня означает, что у нас есть 50 образцов. Теперь, если размер пакета составляет 5, то сколько у нас нейронов на входе? Является ли количество нейронов во входном слое независимым от размера пакета? Как я понимаю, размер пакета — это количество образцов, которые нейронная сеть увидит перед обновлением своих весов. Итак, предположим, что у нас есть только три нейрона во входном слое, тогда мы будем передавать первую строку входной переменной, затем вторую строку входной переменной и повторять это до пятой строки, прежде чем мы обновим веса. Чем это будет отличаться от передачи только пятой строки?

В общем, я думаю, что вы поняли оба понятия. Я постараюсь подробнее рассмотреть оба из них.

Размер входного слоя

В нейронных сетях (NN) размер входного слоя всегда равен количеству переменных (или признаков), как мы обычно их называем в машинном обучении), в ваших данных.

Размер пакета

Это относится к количеству образцов данных, которые сеть увидит перед обновлением своих весов.

Обычно, выполняя градиентный спуск (то есть алгоритм, который обучает NN), сеть вводит все образцы, чтобы рассчитать функцию потерь и обновить веса. Однако, особенно в глубоких нейронных сетях (DNN), это невозможно, так как размер набора данных слишком велик и даже если бы сеть имела достаточно памяти, вычисление градиентов было бы неэффективным. Вместо этого мы передаем несколько образцов (называемых пакетом) за раз и обучаем модель на них. Затем передается следующий пакет и так далее. Количество образцов, которое мы вводим в модель на каждой итерации, называется размером пакета.

Взаимосвязь между двумя

В теории, если у вас много признаков (в тысячах), вы не можете использовать достаточно большой размер пакета, и чем больше у вас признаков, тем меньше размер пакета вы можете использовать. Тем не менее, на практике я обнаружил, что оба понятия практически не связаны! В глубоких нейронных сетях размер пакета в основном определяется размером модели. Простая (но не всегда точная) способ оценить этот размер — это количество обучаемых параметров в модели. Большее количество параметров означает больше памяти для модели (и более длительные вычисления градиентов), что приводит к меньшему размеру пакета. В DNN, которые имеют несколько слоев, лишь небольшая часть параметров — это параметры входного слоя. Таким образом, количество признаков играет небольшую роль в выборе размера пакета.

Пример

В вашем примере вы говорите, что у вас 50 строк и 4 столбца, из которых 3 являются входными переменными.

Количество нейронов во входном слое будет 3, чтобы соответствовать количеству входных переменных (или признаков). Это мы не можем изменить, даже если бы захотели!

Размер пакета — это то, что мы можем изменить. Давайте скажем, что мы используем размер пакета 5.

1-я итерация:
На первом этапе NN будет предоставлено первые 5 строк данных. Для каждой из них первые три столбца будут переданы на первый слой сети, который вычислит выход. После того, как все 5 выходов будут сгенерированы, они будут сравнены с первыми 5 строками 4-го столбца, чтобы рассчитать функцию потерь. Используя эту потерю, сеть вычислит градиенты и выполнит обновления. Опять же, эта потеря соответствует первым 5 образцам, а не только пятому.

2-я итерация:
Строки 6-10 будут переданы сети, которая выполнит ту же процедуру, что и на первом этапе.

10-я итерация:
Строки 45-50 будут переданы сети. Это обозначает момент, когда NN увидела каждый образец данных один раз. В контексте машинного обучения мы называем это эпохой. В этот момент данные перемешиваются и начинается 1-я итерация 2-й эпохи.

Примечание:

В большинстве фреймворков образцы в каждом пакете обрабатываются параллельно сетью и не последовательно. Это не влияет на результат, я просто хотел на это указать.

Я не Соглашаюсь с @Djib2011 на то, что он сказал: “Количество нейронов во входном слое будет 3, чтобы соответствовать количеству входных переменных (или признаков). Это мы не можем изменить, даже если бы захотели!” Количество нейронов, также называемое единицами или узлами, является совершенно свободным параметром, который вы задаете по своему усмотрению. Не обязательно, чтобы оно совпадало с количеством признаков. Тем не менее, это определяет размер выходов этого слоя.

Посмотрите пример здесь https://keras.io/layers/core/, где первый слой

model.add(Dense(32, input_shape=(16,)))

Здесь 32 — это количество нейронов, а 16 — это количество признаков. Другой скрытый слой

model.add(Dense(32))

где 32 также является количеством нейронов, и в keras вам не нужно указывать размер входа (выход из предыдущих слоев) после первого скрытого слоя (примечание: входной слой не является истинным слоем, а является тензором).

Также посмотрите этот пример https://machinelearningmastery.com/tutorial-first-neural-network-python-keras/, где автор упомянул:

Мы можем собрать все вместе, добавив каждый слой:

• Модель ожидает строки данных с 8 переменными (аргумент input_dim=8)
• Первый скрытый слой имеет 12 узлов и использует активационную функцию relu.
• Второй скрытый слой имеет 8 узлов и использует активационную функцию relu.
• Выходной слой имеет один узел и использует сигмоидальную активационную функцию.

# define the keras model
model = Sequential()
model.add(Dense(12, input_dim=8, activation='relu'))
model.add(Dense(8, activation='relu'))
model.add(Dense(1, activation='sigmoid'))

Я нашел очень хорошее объяснение о итерациях и размере пакета, размещенное здесь много лет назад от @Djib2011. Теперь мой вопрос касается следующего. Если размер пакета (5) строк (1-5) был передан пяти ячейкам lstm (1-5) для пяти итераций градиентного процесса (гипотеза с параллельными итерациями), и второй размер пакета строк (6-10) был передан другим пяти ячейкам lstm (6-10), что произошло в скрытом слое с 32 ячейками lstm, так как 32 не делится на 5?? Спасибо