learning-rate

Вопрос или проблема У меня есть большой набор данных для обучения модели нейронной сети. Однако у меня недостаточно ресурсов для надлежащей настройки гиперпараметров на всем наборе данных. Поэтому моя идея заключается в том, чтобы отрегулировать скорость

Вопрос или проблема Я работаю над настройкой BLIP-2 на наборе данных RSICD с использованием LORA. Я работаю в colab, используя A100. Странно, но когда я устанавливаю скорость обучения в приведенном ниже коде, это не влияет на результат.

Вопрос или проблема Я пытаюсь полностью понять, почему проблемы исчезающего и взрывающегося градиентов так вредны для обучения глубоких нейронных сетей. Я понимаю, что эти проблемы приводят к тому, что некоторые веса имеют очень маленькие градиенты (исчезающий