Data Science
Какой генеративный модель является правильным ответом?
00
Вопрос или проблема Здравствуйте, может кто-нибудь помочь мне? Смотря на сгенерированные результаты, я думаю, что ответом может быть либо (C) Генеративная Состязательная Сеть (GAN), либо (D) Модель диффузии, но я не совсем уверен, какой из них подходит лучше.
Data Science
Обсуждение X-векторов
00
Вопрос или проблема Я задаю этот вопрос, чтобы задать несколько вопросов о встраивании X-векторов, предложенном Снайдером и др. Статья называется X-VECTORS: ROBUST DNN EMBEDDINGS FOR SPEAKER RECOGNITION. Ссылаясь на следующую таблицу, сеть была построена
Data Science
Вычисление дисперсии итерации SGD
00
Вопрос или проблема Известно, что итерация SGD имеет большую дисперсию. Учитывая обновление итерации: $$ w^{k+1} := w^k – \underbrace{\alpha \ g_i(w^k)}_{p^k}, $$ где $w$ – веса модели, а $g_i(w^k)$ – градиент функции потерь, оцененный для образца $i$.
Data Science
Как обновить веса первого слоя?
00
Вопрос или проблема Я пытаюсь создать нейронную сеть без использования какой-либо библиотеки глубокого обучения, которая распознает числа из базы данных mnist. Ее структура: 784 входных нейрона (для 784 пикселей на изображениях чисел), 10 скрытых нейронов
Data Science
как использовать несколько генераторов в keras fit_generator()
01
Вопрос или проблема Я хочу обучить модель с несколькими входами на наборе изображений. Я использую ImageDataGenerator.flow_from_directory() и fit_generator в keras. Проблема в том, что я не знаю, как использовать несколько генераторов.
Data Science
Как равномерно распределить данные между несколькими GPU с использованием Keras
00
Вопрос или проблема Я использую Keras=2.3.1 с Tensorflow-gpu=2.0.0 в качестве бэкенда. Когда я обучал модель на двух GPU RTX 2080 ti 11G, все данные выделяются на ‘/gpu:0’, и ничего не меняется с ‘/gpu:1’
Data Science
Как найти, какому патчу в оригинальном изображении соответствует активация в сети VGG после последнего слоя пулинга.
00
Вопрос или проблема Итак, я работаю над задачей воспроизводимости NeurIPS 2019. Ссылка на статью: https://arxiv.org/abs/1806.10574. В основном у нас есть сеть vgg-16 с удаленными финальными полносвязными слоями, так что у нас есть активационные карты размером 7x7x512.
Data Science
Объединить два тензора разной формы
00
Вопрос или проблема У меня есть два тензора: a.shape = (1, 30, 1220) # представляет вектор встраивания текста (30 интервалов, каждый с размером встраивания 1220) b.shape = (1, 128, 256) # представляет признаки изображения, полученные от предварительно
Data Science
Когда МЛП даст постоянное предсказание?
00
Вопрос или проблема У меня есть задача регрессии (предсказать цену для финансового рынка). Я строю MLP для выполнения регрессии. Я заметил, что MLP прекращает давать предсказание, которое остается постоянным, что, как мне кажется, бесполезно.
Data Science
Ошибка OOM при тонкой настройке
00
Вопрос или проблема Ошибка OOM возникает, даже когда я использую квантование и контроль градиентов во время тонкой настройки. Это мой блокнот для тонкой настройки на нескольких GPU. Он выдает ошибку памяти после 5 шагов обучения, я пробовал много вещей
Data Science
При повторном обучении предобученной модели я сталкиваюсь с проблемой RuntimeError: Вы должны скомпилировать свою модель перед ее использованием.
00
Вопрос или проблема Резюме модели: RuntimeError: Вы должны скомпилировать свою модель, прежде чем использовать ее. Говорится, что модель нужно скомпилировать. Но, насколько я знаю, если я скомпилирую модель, все ранее обученные данные будут утеряны, и
Data Science
При дополнительном обучении предварительно обученной модели возникает ошибка: ValueError: Вход 0 несовместим с слоем flatten_1: ожидалось min_ndim=3, найден ndim=2.
00
Вопрос или проблема Мое резюме модели: Слой (тип) Форма выхода Кол-во параметров ================================================================= conv2d_1 (Conv2D) (None, 62, 62, 32) 896 _________________________________________________________________
Data Science
Можно ли использовать LSTM для не временных рядов?
00
Вопрос или проблема У меня есть набор данных – Это набор данных сетевого трафика TOR с добавленными метками TOR / Не TOR. Я хочу запустить LSTM на этом наборе данных и классифицировать его как Tor/Не Tor. Это возможно, так как это не временной ряд данных?
Data Science
Как время, необходимое для тренировки, отличается между различными размерами батчей?
00
Вопрос или проблема Я создал свёрточную нейронную сеть на Python с использованием Numpy, которая обучается с помощью градиентного спуска с мини-пакетами для классификации цифр MNIST. При обучении с размером пакета 1 время, необходимое для 5 эпох, составляет
Data Science
Слой внедрения перед слоем LSTM
00
Вопрос или проблема Я экспериментирую с фреймворком кластеризации и предсказания оттока, cluschurn, который был развернут в производственной среде в Snap, Inc. В их исследовательской работе paper_link они используют 14 дней данных пользователей и рассматривают их как временной ряд.
Data Science
Какую модель использовать, чтобы различать имена с одинаковыми словами?
00
Вопрос или проблема Для моей задачи мне нужна модель, которая может различать должности, содержащие одни и те же слова. Модель BERT “msmarco-MiniLM-L-12-v3” демонстрирует высокую косинусную схожесть для позиций: “
Data Science
Почему дивергенция KL вместо кросс-энтропии в VAE
00
Вопрос или проблема Я понимаю, как дивергенция KL предоставляет нам меру различия одной вероятностной распределения от второго, контрольного вероятностного распределения. Но почему они используются именно (вместо кросс-энтропии) в вариационных автокодировщиках
Data Science
Потеря NAN, точность 0 – Есть идеи, почему? Полный код представлен.
00
Вопрос или проблема Я работал над этим в последние несколько дней и не мог разобраться. Публиковал в различных группах, на StackOverflow и т. д., и получил предложения от многих пользователей. Я реализовал эти предложения в коде, представленном ниже
Data Science
Настройте функцию потерь для генерации музыки с помощью LSTM (?)
00
Вопрос или проблема Мне нужно выполнить проект по генерации музыки для курса глубокого обучения, который я прохожу в этом семестре, и я использую Pytorch. Датасет состоит из песен в формате midi, и я использую библиотеку python mido для извлечения данных из каждой песни.
Data Science
Каркасные структуры против моделей
00
Вопрос или проблема Мой второй вопрос (Модели против алгоритмов) заключается в том, какова разница между моделями и фреймворками? Сначала давайте взглянем на определения. Согласно Википедии: В компьютерном программировании программный фреймворк — это