Вопросы и ответы
Перевод весов и модели TensorFlow в PyTorch (модифицированный EfficientNet)
00
Вопрос или проблема Существует модифицированная модель efficientnet TF, которую я пытаюсь смоделировать в pytorch. Я внес изменения в архитектуру модели в pytorch, выгрузил веса модели TF и загрузил их обратно в новую модель pytorch.
Data Science
GPU показывает 0% использование, даже когда тензоры и модель загружены на GPU?
00
Вопрос или проблема Я пытаюсь запустить некоторые скрипты PyTorch на удалённом сервере с GPU. При вызове скрипта в терминале Ubuntu я начинаю с: CUDA_VISIBLE_DEVICES=0(или тот, который доступен) python3 <script.py>. Также я использовал следующий
Data Science
Обучение модели обнаружения объектов всего на 10 изображениях
00
Вопрос или проблема Я пытаюсь обучить модель обнаружения объектов с помощью Mask-RCNN с Resnet50 в качестве основы. Я использую предобученные модели из библиотеки Torchvision PyTorch. У меня есть всего 10 изображений, которые я могу использовать для обучения.
Data Science
Должен ли изменяться распределение весов при тонкой настройке классификатора на основе трансформеров?
00
Вопрос или проблема Я использую предобученную модель DistilBERT от Huggingface с пользовательской классификационной головой, которая почти такая же, как в референсной реализации: class PretrainedTransformer(nn.Module): def __init__( self, target_classes): super().
Data Science
Почему потеря при повторной отладке yolo4 в pytorch кажется высокой, как при первом обучении?
00
Вопрос или проблема Я установил фреймворк yolo4 на pytorch в google colab, клонировав репозиторий https://github.com/roboflow-ai/pytorch-YOLOv4.git. Я сгенерировал контрольные точки, проведя обучение. Поскольку нам нужна более надежная модель обучения
Data Science
Реализация вычитания фона с помощью Mask R-CNN
00
Вопрос или проблема В настоящее время я пытаюсь реализовать статью по обнаружению падений (https://ieeexplore.ieee.org/abstract/document/9186597). Для этого требуется алгоритм вычитания фона, называемый Mask R-CNN. Существуют ли текущие реализации этого
Data Science
Преобразование модели Keras в PyTorch
00
Вопрос или проблема У меня есть файл Keras h5, который я хочу загрузить в ту же модель, но эта модель создана с использованием PyTorch. Является ли ONNX приемлемым промежуточным вариантом? Что еще я могу использовать? Извините, что это не точное решение
Data Science
Как подстроить гиперпараметры трансформера для временных рядов, чтобы превзойти производительность LSTM?
00
Вопрос или проблема Я пытаюсь обучить модель машинного обучения на данных временных рядов. Входные данные представляют собой 10 временных рядов, которые по сути являются данными с датчиков. Выходные данные – это другой набор из трех временных рядов.
Data Science
Стандарт инициализации Xavier не соответствует ожиданиям
00
Вопрос или проблема Ожидаемое стандартное отклонение Инициализации Xavier для тензора с размерностью D будет $1 / \sqrt (D)$, но на практике это не так. Пожалуйста, помогите понять, почему. import torch D = 27 x = torch.zeros(1, D) torch.
Data Science
Моя сеть для классификации диалектов не работает
00
Вопрос или проблема Я написал следующий код для классификации диалектов на основе набора данных TIMIT, используя .wav файлы. По какой-то причине моя модель не обучается и классифицирует все в один и тот же класс. Обязательно ли конвертировать в спектрограмму?
Data Science
Высокие потери и высокая точность на валидационном наборе данных на раннем этапе обучения бинарного классификатора
00
Вопрос или проблема Я обучаю сеть ResNet50 на симуляционных данных, а мой валидационный набор данных — это экспериментальные данные. Симуляционные данные не являются на 100% точным представлением экспериментальных данных. Цель этой сети — двойная классификация.
Data Science
Классификация с множеством классов
00
Вопрос или проблема Я пытаюсь создать модель, которая будет классифицировать текст примерно на 500 разных классов. Я думаю, что мне нужно настроить архитектуру Pooling Classifier, которая сейчас выглядит следующим образом: (1): PoolingLinearClassifier(
Data Science
Предобучение модели RoBERTa на новых данных с использованием библиотеки PyTorch
00
Вопрос или проблема Я предварительно обучил модель RoBERTa на новых данных, используя библиотеку ‘simpletransformers‘: from simpletransformers.classification import ClassificationModel OUTPUT_DIR = 'roberta_output/' model = ClassificationModel('roberta'
Data Science
Как избежать операций на месте в цикле PyTorch, чтобы разрешить обратное распространение ошибки?
00
Вопрос или проблема Я работаю над моделью PyTorch, которая включает двойной цикл для вычислений. Проблема в том, что я получаю ошибку, связанную с операциями в месте, когда пытаюсь выполнить обратное распространение. Вот упрощенный пример моего кода
Data Science
Почему моя модель Transformer выдает один и тот же класс для каждого токена и не улучшается, несмотря на снижение потерь?
00
Вопрос или проблема В настоящее время я обучаю модель Transformer для задачи классификации последовательностей, используя CrossEntropyLoss. Мой входной тензор имеет размерность (batch_size, classes, seq_len), а целевой тензор имеет размерность (batch_size, seq_len).
Data Science
Как предотвратить обновление предобученной модели, если модель оптимизирована с помощью обратного распространения в Pytorch?
00
Вопрос или проблема Я использую Pytorch исключительно для разработки своей модели, и вот составные части моей модели и как она работает: Генератор Кодировщик: предобученный, его обновление не должно производиться. Функция потерь.
Data Science
Формы mat1 и mat2 не могут быть перемножены (100×200 и 100×9922)
00
Вопрос или проблема Я пытаюсь создать языковую модель BiLSTM и испытываю некоторые проблемы. Модель class BiLSTM(nn.Module): def __init__(self, vocab_size, embedding_dim, hidden_dim, num_layers, dropout_rate, tie_weights): super().
Data Science
Как правильно реализовать RNN в Pytorch?
00
Вопрос или проблема Я прочитал о RNN в PyTorch: RNN — документация PyTorch. Согласно документу, RNN выполняет следующую функцию: Я посмотрел другой пример RNN (из учебника PyTorch): NLP С НУЛЯ: КЛАССИФИКАЦИЯ ИМЕН С ПОМОЩЬЮ RNN УРОВНЯ СИМВОЛОВ.
Data Science
Как указать версию для зависимостей, чтобы каждая из них была совместима и оставалась в рамках лимита по размеру?
00
Вопрос или проблема Я пытаюсь развернуть веб-приложение на Heroku. Бесплатный тариф ограничен 500 МБ. Я использую свою модель resnet34 в виде файла .pkl. Я создаю модель с его помощью, используя библиотеку fastai. Этот проект требует torch и torchvision как зависимости.
Вопросы и ответы
Как запускать модели Qwen2-VL на нескольких GPU?
00
Вопрос или проблема У меня есть 4 GPU, на которых я хочу запустить модели Qwen2 VL, но я получаю ошибку “сработала проверка на стороне устройства. Скомпилируйте с TORCH_USE_CUDA_DSA, чтобы включить проверки на стороне устройства”