Data Science
Почему точность модели может измениться, когда потери остаются неизменными?
00
Вопрос или проблема Я обучил 8 моделей на основе одной и той же архитектуры (сверточная нейронная сеть), и каждая использует метод увеличения данных. Точность моделей значительно колеблется, в то время как потеря не колеблется так сильно.
Data Science
Специалист по данным, пытающийся изучить алгоритмы и структуры данных из книги “Введение в алгоритмы”.
00
Вопрос или проблема Я читаю книгу “Введение в алгоритмы”, 4-е издание, авторы Томас Х. Корман, Чарльз Е. Лейсертон, Рональд Л. Ривест и Клиффорд Стейн, чтобы получить знания, связанные с алгоритмами и структурами данных для науки о данных.
Data Science
Замена среднего на медиану по размеру партии, чтобы уменьшить влияние выбросов.
00
Вопрос или проблема В случае обучения нейронной сети на задаче регрессии. Предполагая, что в данных присутствует значительное количество выбросов. При условии, что ошибка должна измеряться по методу RMS, а не MAE. Может ли быть лучше (то есть менее чувствительно
Data Science
Нормализация батчей для нескольких наборов данных?
00
Вопрос или проблема Я работаю над задачей генерации синтетических данных, чтобы помочь обучению моей модели. Это означает, что обучение проводится на синтетических + реальных данных, а тестирование — на реальных данных. Мне сказали, что слои пакетной
Data Science
Проектирование системы RAG: контекстно-осведомленная поддержка клиентов для управления недвижимостью с использованием смешанной информации, специфичной для объектов, и глобальной информации.
00
Вопрос или проблема Контекст Я управляю портфелем объектов недвижимости на таких платформах, как Airbnb, осуществляя поддержку клиентов на протяжении всего пребывания гостей (от предварительного бронирования до завершения проживания).
Data Science
Могу ли я использовать выход с one-hot кодированием для сегментации в Pytorch с использованием фокальной и Dice потерь?
00
Вопрос или проблема Знайте, что для классификации с использованием нейронной сети и функции потерь CrossEntropy нам нужен выход в формате one-hot, но в PyTorch функция потерь CrossEntropy не принимает целевые данные в формате one-hot, и мы должны предоставить
Data Science
Импутация данных для сильно отсутствующих признаков
00
Вопрос или проблема В настоящее время я работаю с набором данных IEEE-CIS Fraud Detection, предоставленным через Kaggle, содержащим около 350 признаков и примерно 600 тысяч экземпляров. Однако некоторые признаки имеют большие объемы пропущенных значений
Data Science
Как мне собрать данные о законах дорожного движения ЕС?
00
Вопрос или проблема Я пытаюсь сделать проект, для которого мне нужен огромный корпус по праву дорожного движения ЕС, в частности по ограничениям скорости, знакам, общим правилам, правонарушениям, штрафам. Я нашел ресурсы, такие как Eur-lex, Европейская комиссия и т.
Data Science
Коррекция одного из нескольких сильных батч-эффектов в наборе данных.
00
Вопрос или проблема Мне интересно, какие статистические инструменты использовать при анализе данных, имеющих несколько сильных эффектов партии (распределения варьируются от одной партии к другой). Я хотел бы скорректировать эффект партии, когда он возникает
Data Science
Простой график в оранжевом
00
Вопрос или проблема Я пытаюсь создать линейный график. Наверное, я упускаю что-то простое… просто не знаю что. Я просмотрел несколько руководств и туториалов, которые отлично работали с предоставленными образцами данных.
Data Science
Что такое это странное поведение потерь во время обучения?
00
Вопрос или проблема Изображение из тренировки модели gpt2 здесь . Ответ или решение Необычное поведение потерь во время обучения модели GPT-2 Факторы, влияющие на поведение потерь При обучении моделей глубокого обучения, таких как GPT-2, часто наблюдаются
Data Science
Две параллельные модели для семантической сегментации в Keras
00
Вопрос или проблема Я хочу создать две параллельные модели для семантической сегментации изображений в Keras. input1 = Input(shape=(480,480,3)) input2 = Input(shape=(480,480,1)) c1_1 = Conv2D(filters=64, kernel_size=(3,3), activation='relu', padding='same')(input1)
Data Science
Прогнозирование производительности продавца
00
Вопрос или проблема Я пытаюсь предсказать/прогнозировать эффективность продавцов по неделям, месяцам, кварталам и годам на основе продуктов, которые они продали за 3 года. В рамках этой работы я сгруппировал количество проданных единиц по штатам, местоположениям
Data Science
Почему недифференцируемая регуляризация приводит к установлению коэффициентов в 0?
00
Вопрос или проблема L2-регуляризация приводит к минимизации значений в векторном параметре. L1-регуляризация приводит к установке некоторых коэффициентов в 0 в векторе параметров. Генерально, я наблюдал, что недифференцируемая регуляризационная функция
Data Science
Методы использования моделей машинного обучения для предписательной аналитики
00
Вопрос или проблема Может кто-нибудь предоставить поддержку или ресурсы, которые касаются темы использования обученных моделей машинного обучения для оптимизации ваших действий? То есть, как перейти от предсказательной аналитики к предписывающей аналитике?
Data Science
Как я могу “экспортировать” модель из Orange после того, как я прототипировал решение?
00
Вопрос или проблема Используя Orange, я хотел бы использовать базовую модель python в системе управления моего устройства. Устройство – это простая машина, не подключенная к интернету. Моя цель – использовать модель для настройки параметров
Data Science
Может ли маска внимания иметь значения между 0 и 1?
00
Вопрос или проблема Я новичок в моделях на основе внимания и хотел узнать больше о маске внимания в моделях НЛП. attention_mask: необязательный torch.LongTensor формы [batch_size, sequence_length], с индексами, выбранными из [0, 1].
Data Science
Когда имеет смысл использовать тест Хи-квадрат для выбора признаков?
00
Вопрос или проблема Каковы предпосылки, которые необходимо выполнить перед проведением критерия хи-квадрат (бивариантный анализ)? Например, перед тем как получить корреляционную матрицу, мы должны сначала удостовериться в линейности. Что насчет критерия хи-квадрат?
Data Science
измерение дисперсии различий между двумя наборами соответствующих средних с учетом значимости
00
Вопрос или проблема У меня есть датафрейм id, w, x, y1, y2 (две категориальные переменные, две зависимые переменные) id – это индекс, который не является особенно информативным w, x – категориальные переменные –
Data Science
Существует ли открытая реализация крупномасштабной SVM?
00
Вопрос или проблема Вопрос: Кто-нибудь знает о публично доступном пакете Python для крупномасштабных SVM? Спасибо! Почему на вопрос следует ответить: Как было отмечено (например, здесь), задача SVM может быть вычислительно затратной при большом объеме данных.