Data Science
Система баз данных для ручного ввода
00
Вопрос или проблема Я отвечаю за создание регистра пациентов (более 100 000 пациентов) для некоммерческого проекта с ограниченным бюджетом. Этот регистр должен стать основой для будущей работы с данными. Я не уверен, как хорошее решение для базы данных
Data Science
Классификация по данным о движении
00
Вопрос или проблема Сводка вопроса: Как можно выполнить задачу классификации индивидуумов по их данным о движении/позиции? У меня нет набора данных (в голове), но я буду делать вид, что он у меня есть, чтобы сделать мой вопрос немного более конкретным
Data Science
Переходное обучение между языковой моделью и классификацией
00
Вопрос или проблема Следуя этой лекции fast.ai, я пытаюсь понять механизм переноса обучения (Transfer Learning) в обработке естественного языка (NLP) от общего языкового моделирования (LM) к задаче классификации. Что именно берется из обучения языковой модели?
Data Science
Рассчитайте корреляцию двух списков эмбеддингов.
00
Вопрос или проблема У меня есть два списка предложений A=["Astring1", "Astring2",...,"AstringN"] B=["Bstring1", "Bstring2",...,"BstringN"] Я использовал модель встраивания, такую как BERT, чтобы получить векторные представления всех моих строк в каждом
Data Science
Обучение трансформера с помощью PPO
00
Вопрос или проблема Контекст Я пытаюсь применить обучение с подкреплением к трансформеру. У меня есть следующие токены: ["<sos>", "<eos>", "roses", "are", "red"]. Моя цель – использовать основанную на трансформере политику сети для генерации токенов ["<
Data Science
Как создать график конкретной строки с каждым столбцом с помощью Python и какой пакет выбрать: Matplotlib или Seaborn?
00
Вопрос или проблема Я пытаюсь создать график для ранжирования каждой страны с 2002 по 2023 год. Я создал этот набор данных, загрузив каждый файл csv за соответствующий год, который содержит столбцы Страны и Ранжирование, и объединив эти отдельные наборы
Data Science
Рейтинг дискриминатора и потеря
00
Вопрос или проблема Рейтингующий дискриминатор D(z1, z2, z3 ) ∈ [0, 1] должен быть высоким, если _z1 ∼ p1 , z2 ∼ p2 , z3 ∼ p3 _ и низким в противном случае. Для нахождения потерь и оптимального дискриминатора D(z1 , z2 , z3 ) следует ли мне изменить потери
Data Science
Гарантируют ли классовые веса калибровку?
01
Вопрос или проблема Существует возможность назначения весов классов при обучении классификаторов, например, CatBoost. Насколько мне известно, это добавляет вес объектам при вычислении функции потерь, тем самым пенализируя ошибки на них больше или меньше.
Data Science
Техники адаптивного предсказания с обратной связью в развивающемся пространстве признаков
00
Вопрос или проблема Я работаю над задачей прогнозирования, где целевая переменная 𝑦 извлекается из нормального распределения, а связь между непрерывным пространством признаков 𝑋 и 𝑦 остается стабильной со временем. Однако целевые значения (например, среднее
Data Science
Скрытая модель Маркова: реализация алгоритма прямого прохода на Python
00
Вопрос или проблема Я изучаю скрытую модель Маркова и её реализацию для прогнозирования цен на акции. Я пытаюсь реализовать алгоритм прямого прохода в соответствии с этой работой. Здесь я нашел реализацию алгоритма прямого прохода на Python.
Data Science
Градиент политики/алгоритм REINFORCE с RNN: почему он сходится с SGM, но не с Adam?
00
Вопрос или проблема Я работаю над обучением модели RNN для генерации подписей с помощью алгоритма REINFORCE. Я применяю стратегию самокритики (см. статью Self-critical Sequence Training for Image Captioning), чтобы уменьшить дисперсию.
Data Science
Как справляться с мягкими ограничениями веса в нейронных сетях
00
Вопрос или проблема Предположим, что у нас есть прямой нейронной сети с двумя слоями, и веса каждого слоя ограничены таким образом, что сумма весов является постоянным значением в каждом слое и их значения неотрицательны. Вы можете задаться вопросом
Data Science
DTW (Динамическое выравнивание по времени) требует предварительной нормализации?
00
Вопрос или проблема Я использую DTW из mlpy, чтобы проверить схожесть между временными рядами. Нужно ли нормализовать ряды перед их обработкой с помощью DTW? Или он в чем-то терпим и я могу использовать ряды как есть? Все временные ряды хранятся в DataFrame
Data Science
Какой F1-скор используется для задач семантической сегментации?
00
Вопрос или проблема Я прочитал несколько статей о современных моделях семантической сегментации, и во всех из них авторы используют для сравнения метрику F1-меры, но не указали, используют ли они “микро” или “
Data Science
Настройка порогов с методом один против всех для многоклассовой классификации на Python
00
Вопрос или проблема В настоящее время я использую алгоритм случайного леса One vs Rest для задачи многоклассовой классификации на Python и хочу найти оптимальный порог для каждого класса. Как я могу сделать это с помощью подхода OVR (One-Vs-Rest)?
Data Science
Преобразование формата данных
00
Вопрос или проблема Я пытаюсь использовать последние данные о COVID-19 с сайта итальянской гражданской защиты, но они используют довольно сложный формат времени, который вызывает у меня трудности как у новичка при создании графика.
Data Science
Я хочу автоматизировать процесс перемещения файлов с похожими именами в отдельную папку.
00
Вопрос или проблема У меня есть список путей ко всем папкам в подпапке, и некоторые имена путей содержат слова “Chapetrs”, “Chapter”, “chapter” или даже “chaptser”. Я хочу обнаружить эти слова в путях и
Data Science
Нормализация данных в классификации нестационарных данных с использованием Learn++.NSE на основе MLP
00
Вопрос или проблема Мне нужно предсказать техническое агрегированное состояние, используя данные мониторинга вибраций. Мы считаем эти данные нестационарными, т.е. параметры распределения и описательная статистика не постоянны.
Data Science
Как я могу заставить модель разучиться? Обратное распространение ошибок?
00
Вопрос или проблема Я наткнулся на крайне многомерный минимум, который не могу воспроизвести, сколько бы моделей я ни обучал. Проблема в том, что я прошел несколько эпох слишком далеко и переобучился на обучающих данных. Мои критерии ранней остановки
Data Science
Как бы вы описали кластер 2 из этого вывода работы программы EM?
00
Вопрос или проблема Мое описание: Кластер 2 состоит из 9511 экземпляров, средний возраст составляет около 42 лет (колеблется от 29.7207 до 54.5257). Учитывая возраст, Кластер 2 хорошо отделен от Кластера 1, с расстоянием 18.9513.