Вопросы и ответы
Округляются ли шаги вниз, когда они дробные?
00
Вопрос или проблема Я начал экспериментировать с обучением моделей машинного обучения и столкнулся с некоторой путаницей вокруг понятий эпох и шагов в процессе обучения. Проводя исследования в Интернете, я наткнулся на формулу (𝜎 = (𝜀 × 𝜂) ÷ 𝛽), связывающую
Data Science
Как загрузить предварительно обработанные данные .txt и использовать их для обучения сверточных сетей?
00
Вопрос или проблема У меня есть много файлов ‘.txt’ (предварительно обработанных), связанных с C3D, и мне нужно использовать их для обучения и тестирования с использованием модели CNN. Как это сделать? Большая часть данных в каждом .
Data Science
Понимание формы выхода Conv1D
00
Вопрос или проблема Я немного запутался в форме выходных данных, которую выдает Conv1D. Рассмотрим код, который я использовал (многое опущено для ясности): input_shape = x_train_2trans.shape # (7425, 24, 1) model.add(Conv1D(filters=4, input_shape=input_shape[1:]
Data Science
Подход к прогнозированию отказов оборудования на основе истории обслуживания
00
Вопрос или проблема Я уже некоторое время борюсь с этой проблемой и наконец решил задать вопрос здесь, чтобы получить помощь. Проблема, которую я пытаюсь решить, связана с предсказательным обслуживанием. В частности, система выдает 2 вида сообщений об
Data Science
Какие методы существуют для извлечения травмы и ее описания из абзаца?
00
Вопрос или проблема Предположим, у меня есть абзац, который объясняет травмы и их описания. Я хочу извлечь травмы и соответствующие им описания из текста. Как я могу это сделать? Например, абзац будет следующим: На мой взгляд, боль в шее вызвана травмой мягких тканей.
Data Science
Как реализовать одноимпутацию из условного распределения?
00
Вопрос или проблема На странице [*] 264 описан метод извлечения отсутствующего значения из условного распределения $P(\bf{x}_{mis}|\bf{x}_{obs};\theta)$, которое определяется как: Я не нашел никакой реализации этого подхода в коде. Мой вопрос: как это реализовать?
Data Science
Не IID переменные и классификатор SVM
00
Вопрос или проблема Я обучаю модель SVM для предсказания тренда цен на акции (предсказания на один день вперед. Задача классификации). Совершенно забыл, что SVM предполагает IID данные, пока не поговорил с другом. Это заставило меня переосмыслить свой
Data Science
Улучшение наборов данных путем добавления новых узлов
00
Вопрос или проблема У меня есть идея по добавлению новых узлов в направленный граф для достижения численно стабильного графа Фурье для анализа сигналов в области графов. Чтобы оценить ее эффективность, я ищу реальные наборы данных, структурированные как
Data Science
Среднее значение метрик с использованием 10-кратной проверки
00
Вопрос или проблема Я работаю с 10-кратной кросс-валидацией и хочу усреднить метрики, но не могу это сделать с помощью sklearn. Вот как я это делаю, и метрики выводятся по каждому разделению. from sklearn.model_selection import KFold from sklearn.
Data Science
Отделение данных признаков от целевой переменной в X и y до или после пайплайна?
00
Вопрос или проблема У меня есть следующее: train_set, test_set = train_test_split(arbres_df, test_size=0.2, random_state=42) Это старая train_test_split, которую мы знаем. А затем я разделяю признаки и целевую переменную: train_feat = train_set.
Data Science
Найдите корреляцию между двумя списками текстов.
00
Вопрос или проблема Допустим, у меня есть несколько списков текстов, такие как: A = ["девочка", "женщина", "королева"] B = ["мальчик", "мужчина", "король"] C = ["пожарный", "строительный рабочий", "механик"] D = ["медсестра", "учитель начальных классов"
Data Science
Как работать с данными (особенно изображениями), когда входные и выходные данные также являются изображениями?
00
Вопрос или проблема У меня есть входной набор данных в виде изображений, а выходные данные также являются изображениями, вместо того чтобы быть размеченными данными. Поэтому это не совсем задача классификации и не совсем задача регрессии.
Data Science
Почему значение потерь моей модели возрастает?
00
Вопрос или проблема Я экспериментирую с ML5JS и Mediapipe, чтобы обучить модель на языке жестов (в частности, движущихся жестах). Мой код заставляет mediapipe собирать 3780 кадров, обрабатывать их и сохранять в переменной, которая выглядит так: { "label": "wave", "vector": [ 0.
Data Science
Когда это можно назвать трансферным обучением?
00
Вопрос или проблема Общее определение передачи обучения звучит так: «Передача обучения — это улучшение обучения в новой задаче посредством передачи знаний из связанной задачи, которая уже была изучена.» — Глава 11: Передача обучения, Справочник по исследованиям
Вопросы и ответы
Как запускать модели Qwen2-VL на нескольких GPU?
00
Вопрос или проблема У меня есть 4 GPU, на которых я хочу запустить модели Qwen2 VL, но я получаю ошибку “сработала проверка на стороне устройства. Скомпилируйте с TORCH_USE_CUDA_DSA, чтобы включить проверки на стороне устройства”
Data Science
Обнаружение размытия изображения с использованием ssdmobilenet и tensorflowlite
00
Вопрос или проблема У меня есть четкие изображения карт и размытые изображения карт. Моя задача — сделать фотографию, когда изображение не размыто, как вы можете видеть из описания, мне нужно, чтобы этот код работал в реальном времени на устройстве Android.
Data Science
Как нарисовать диаграммы архитектуры нейронных сетей глубокого обучения?
00
Вопрос или проблема Я построил свою модель. Теперь я хочу нарисовать диаграмму архитектуры сети для своей исследовательской работы. Пример показан ниже: Недавно я нашел этот онлайн инструмент, который создает схемы архитектуры нейронных сетей, готовые к публикации.
Data Science
Понимание размерностей целевой переменной Keras LSTM
00
Вопрос или проблема Я изучаю Keras и LSTM и наткнулся на этот учебник, но не понимаю размерности целевой переменной. Цитируя статью ниже: Данные y для обучения в данном случае – это слова ввода x, смещенные на один временной шаг, –
Data Science
Плохая работа CNN для базовой задачи классификации изображений
00
Вопрос или проблема Как дела? Я экспериментирую с CNN в FastAI. Моя модель с 2 миллионами параметров дает всего около 80% точности. Я также пробовал нормализацию данных, нормализацию пакетов, сглаживание меток, Mixup, но результаты все равно остаются
Data Science
Парсер резюме и система оценки на основе глубокого обучения
00
Вопрос или проблема Я хочу узнать, можно ли использовать глубокое обучение для разбора резюме и его оценки. В данный момент я извлекаю текст из PDF или изображения с помощью OCR/tesseract и нахожу такие характеристики, как электронная почта, номер мобильного