Data Science
Как обучить миллионы встраиваний doc2vec с использованием GPU?
00
Вопрос или проблема Я пытаюсь обучить doc2vec на основе истории серфинга пользователей (URLs, привязанные к user_id). Я использую фреймворк глубокого обучения Chainer. Существует более 20 миллионов (user_id и URLs) векторов для инициализации, которые
Data Science
Учитывая два крупных корпуса текста из различных источников, существует ли принятый способ выявить различия в лексике (n-граммах) между ними?
00
Вопрос или проблема Имея два больших корпуса текста из разных источников, существует ли общепринятый способ выявить различия в vocabularies (n-граммах) между ними? То есть, чтобы получить результаты, которые говорят, например, что биграмма “
Data Science
Раскрашивание меток с использованием scatterplot3d в R
00
Вопрос или проблема Я пытаюсь визуализировать данные, используя R и scatterplot3d. Я загрузил данные и использовал: colors <- c("#999999", "#E69F00", "#56B4E9" ) scatterplot3d(output$X2,output$X6 , output$X7 , color=colors, pch="X9") X9 — это столбец
Data Science
Насколько хорошо человечество может распознавать фальшивые изображения? (изображения, сгенерированные нейронной сетью)
00
Вопрос или проблема Например, на картинке изображено лицо человека. На первый взгляд, всё в порядке. С помощью современных нейронных сетей, которые определяют подделки, с какой вероятностью мы можем предсказать, действительно ли эта картинка реальна или нет?
Data Science
Методы решения проблемы с несбалансированными данными
00
Вопрос или проблема Я пытаюсь решить проблему с несбалансированным набором данных. У меня есть два класса, один для пациентов с риском (1), другой для пациентов без риска (0). У меня больше пациентов без риска. Для анализа я использовал такие методы
Data Science
Как улучшить точность при классификации коротких текстов с ограниченным контекстом
00
Вопрос или проблема Мой случай использования заключается в классификации названий должностей по функциональным областям. Я дообучил all-mpnet-base-v2 с помощью Setfit, предоставив около 10 примеров для каждого класса (функциональные области).
Data Science
удаление столбца с более чем 60% пропущенных значений
00
Вопрос или проблема Как это указано в заголовке, я работаю с набором данных, и в определенном столбце отсутствует около 60% значений. Должен ли я просто удалить этот столбец вместо импутации? Причина заключается в том, что я работаю с набором данных о
Data Science
Объяснение вероятностей в Python с помощью Наивного Байеса
00
Вопрос или проблема Я провел некоторые данные о возможности оттока клиентов в телекоммуникационной компании на основе 6 переменных. Как теперь мне интерпретировать вывод ниже для вероятностей: Чтобы было понятно, здесь напечатан логарифм вероятностей
Data Science
Размерность целевой функции для обучения агента DQN
00
Вопрос или проблема Насколько я понимаю, агент DQN имеет столько выходов, сколько действий (для каждого состояния). Если мы рассматриваем скалярное состояние с 4 действиями, это будет означать, что DQN будет иметь 4-мерный выход.
Data Science
Ошибка в пользовательском RNN/LSTM с несколькими входными данными
00
Вопрос или проблема Я хочу реализовать собственную модель RNN/LSTM, подобную этой. Модель должна принимать два отдельных вектора в качестве входных данных и обрабатывать их. Я следовал учебнику Keras по созданию пользовательского слоя Keras и подавал
Data Science
Оценка приложения CNN
00
Вопрос или проблема Я был бы рад, если бы кто-то мог дать мне некоторые советы и оценки для следующего проекта. (Я относительно нов в области машинного обучения и глубокого обучения, и у меня есть только немного теоретических знаний.) Моя цель –
Data Science
Потеря триплета – какой порог использовать для определения сходства между двумя встраиваниями?
00
Вопрос или проблема Я обучил свою модель с использованием функции потерь тройки, используя архитектуру FaceNet. Я использовал набор данных 11k hands. Теперь я хочу оценить, насколько хорошо работает моя модель, поэтому я подаю ей 2 изображения одного
Data Science
Поиск связанных слов с именованной сущностью
00
Вопрос или проблема Существует ли способ найти список связанных слов с именованной сущностью? Например: пусть именованная сущность будет FIFA. FIFA — это футбольная организация, и, следовательно, она связана с термином “
Data Science
Могу ли я использовать Tensorboard для управления задачами и визуализации обучения на алгоритмах, не связанных с Tensorflow? (например, Scikit?)
00
Вопрос или проблема Я все еще ищу отличный инструмент для управления задачами и визуализации обучения на моих моделях. TensorBoard очевидно является одним из вариантов, учитывая его огромную поддержку. Но возможно ли организовать задачи и визуализировать
Data Science
Странное поведение при попытке предсказать теннисных миллионеров с помощью Keras (Точность валидации)
00
Вопрос или проблема Я пытаюсь создать нейронную сеть с помощью Keras для предсказания теннисистов ATP, которые получат более 1 миллиона долларов призовых, основываясь на их весе и росте (из набора данных, который я собрал несколько недель назад), но столкнулся
Data Science
Сравнимо ли регрессионное дерево решений с локально взвешенной регрессией?
00
Вопрос или проблема Я новичок в методе деревьев решений. Для модели регрессии деревьев решений, она просто подстраивает кусочную ступенчатую функцию под данные? Когда и почему люди предпочитают её по сравнению с традиционной регрессией, такой как регрессия
Data Science
Методы кластеризации ежедневных паттернов для временных рядов
00
Вопрос или проблема Вопрос: Привет всем, В настоящее время я работаю над проектом, связанным с ежедневными паттернами использования GN2 (азотного газа). Моя основная цель – снизить вариацию ежедневных паттернов и минимизировать разрыв между производством
Data Science
Как сделать нулевую обводку постепенно более гладкой для непрерывных данных?
00
Вопрос или проблема У меня есть эти непрерывные данные (амплитуда): Я хочу постепенно сгладить их для нулевого заполнения, на самом деле мне это удалось с помощью свертки. Но это требует серьезной настройки, и я не уверен, что это подходит для всех образцов
Data Science
Извлечение структуры и содержания из счетов-фактур
00
Вопрос или проблема В последнее время меня вдохновляет этот https://rossum.ai/, который способен извлекать текст из счетов. У вас есть идеи, как это можно реализовать? Я понимаю, что они провели много исследований, чтобы достичь такого уровня производительности
Data Science
Соответствие набора испорченных строк правильным строкам
00
Вопрос или проблема Я довольно новичок в науке о данных, но раньше сталкивался с ней. Следующая проблема вызывает у меня беспокойство, и я надеюсь, что вы можете направить меня в правильном направлении. Входными данными являются строки, из которых некоторые