Data Science
Как удалить неактуальную информацию из списков сущностей?
00
Вопрос или проблема Я хочу извлечь сущности, используя 5 списков сущностей, которые я собрал. Списки на Python содержат около миллиона элементов каждый. Списки следующие: национальность, организация, профессия, религия, хобби.
Data Science
Линейная регрессия в Pytorch – исчезающие градиенты с Softmax
00
Вопрос или проблема Я реализую нелинейную регрессию с использованием нейронных сетей с одним слоем в Pytorch. Однако при использовании активационной функции, такой как ReLu или Softmax, потеря застревает, значение не уменьшается по мере увеличения выборки
Data Science
Как я могу выявить шаблоны и/или ключевые слова или фразы?
00
Вопрос или проблема Я собираю данные в базе данных через php из apache. Меня интересует обнаружение паттернов в каждом столбце на данный момент. Например, ручное исследование данных показывает, что паттерн phpmyadmin встречается в различных формах и написании
Data Science
Объяснение метрики оценки LSTM MAE
00
Вопрос или проблема Мне трудно понять производительность модели LSTM, так как я подытоживаю свою модель следующим образом: X_train.shape (120, 7, 11) y_train.shape (120,) X_test.shape (16, 7, 11) y_test.shape (16,) model = keras.
Data Science
Выбор признаков или настройка гиперпараметров сначала для данных с 30 признаками
00
Вопрос или проблема У меня примерно 30 переменных, и я пытаюсь создать модель случайного леса. Все переменные предполагаются предикторами исхода. Я хочу найти лучшую модель на основе C-статистики с любым количеством признаков.
Data Science
Как выполнить кросс-валидацию и заполнить пропущенные значения с помощью KNNImputer?
00
Вопрос или проблема Я работаю над задачей с контролируемым обучением с несбалансированными классами. У меня есть несколько вопросов о наилучшем способе обработки разбиения данных и недостающих значений. Мой текущий подход заключается в разбиении данных
Data Science
Существует ли языковая модель, которая может принимать большие объемы табличных данных и отвечать на вопросы об этом?
00
Вопрос или проблема Я исследовал языковые модели, которые могут работать с табличными данными. Моя основная цель – иметь модель, которая сможет отвечать на простые вопросы о моих данных. Примером может быть наличие данных о продажах домашних хозяйств
Data Science
Не удается отобразить данные, поскольку Power BI не может определить связь между двумя или более полями.
00
Вопрос или проблема Я добавил 2 отдельных списка SharePoint в мой Power BI Desktop, следующим образом: В настоящее время между 2 таблицами нет никакой связи. Я создал 2 вкладки внутри Power BI >> каждая таблица отображает данные в табличном формате >> затем я публикую отчеты.
Data Science
Spacy v2.0.1 пользовательский NER: Как улучшить обучение существующей модели
00
Вопрос или проблема Я реализовал пользовательское NER с обученными данными ниже в первый раз, и это даёт мне хорошие прогнозы по Имени и НазваниеПродукта. Я указал код ниже. if __name__ == '__main__': TRAIN_DATA = [ ('Меня зовут Раджеш', {'entities'
Data Science
Я получаю ошибку AttributeError: у объекта ‘DataFrame’ нет атрибута ‘data’
00
Вопрос или проблема import pandas as pd from sklearn.feature_selection import SelectKBest from sklearn.feature_selection import chi2 data=pd.read_csv(‘filename.csv’) x = data.data y = data.target Преобразование в DataFrame для лучшей визуализации column_names = [f’
Data Science
Группировка/кластеризация похожих слов на Python
00
Вопрос или проблема У меня есть вопрос относительно группировки схожих слов, например, у меня есть список слов, приведенный ниже: искусственныйинтеллект Искусственный Интеллект ИИ Машинное Обучение МО Аналитика Данных Данные и Аналитика Я хочу сгруппировать
Data Science
Определение участников, которые, вероятно, перейдут на продукт с более низкой стоимостью.
00
Вопрос или проблема Обзор: Я ищу технические рекомендации от сообщества ML/науки о данных о том, как я мог бы решить свою бизнес-проблему. Контекст: В двух словах, у меня есть группа клиентов, которые неоднократно покупают продукты из определенной категории
Data Science
Реализация ограниченной машины Больцмана (RBM) в Tensorflow (TF) 2.x
00
Вопрос или проблема Я ищу реализацию ограниченной машины Больцмана (RBM) на Python, например, примененную к данным MNIST, как упоминается в «Элементах статистического обучения», гл. 17, в Tensorflow 2.x. Я знаю о коде по ссылке здесь.
Data Science
Смешанная модель случайного леса с эффектами для Python Windows
00
Вопрос или проблема Кто-нибудь знает, есть ли модель смешанных эффектов случайного леса для Python на Windows? Пакет merf https://anaconda.org/search?q=merf+ кажется, доступен только в среде Linux? Спасибо! Я пытался установить “
Data Science
Суммировать 3 переменные в одну и рассчитать “значение навыка” + рейтинг.
00
Вопрос или проблема У меня есть набор данных, который выглядит так: Имя Максимальная скорость Количество спринтов Кумулятивная дистанция спринта Xyz 55 300 33.3 Xyz123 45 350 32.0 Максимальная скорость указана в км/ч. Кумулятивная дистанция спринта указана в км.
Data Science
Как я могу уменьшить количество измерений, используя алгоритм кластеризации в смешанном наборе данных?
00
Вопрос или проблема Я работаю с смешанным набором данных, который соответствует данным о потреблении ТВ, с целью сократить количество признаков до только тех, которые имеют отношение к выявлению паттернов потребления ТВ (или групп потребления) с использованием кластеризации.
Data Science
Нормализация изображений и обратная нормализация: цвета, потерянные при генерации изображений (GAN)
00
Вопрос или проблема Я работаю над GAN. Основываясь на различных статьях, я использую функцию активации Tanh на последнем слое генератора, которая производит выходные данные в диапазоне [-1,1]. Чтобы это было согласованно, я использую нормализацию изображения с помощью cv2: cv2.
Data Science
Почему моя обученная модель не распознает новые изображения, которые отличаются от тестового набора данных?
00
Вопрос или проблема Я обучал модель для классификации различных изображений по разным меткам, вначале 2, и если бы это хорошо работало, я добавил бы больше меток для обучения. Я получил хорошие результаты по точности и прецизионности в ходе обучения
Data Science
Как измерить F1-меру и NMI для задачи кластеризации?
00
Вопрос или проблема Я вижу, что авторы этой статьи измеряют F1 и NMI для оценки качества кластеризации. Однако я не понимаю алгоритм, как именно они это измеряют. Смотрите раздел Оценка. Хотя я посмотрел на код, я не уверен в самом алгоритме.
Data Science
Заполнение созданной функции значениями
00
Вопрос или проблема Я пытаюсь улучшить точность. Я создал несколько новых признаков на основе старых признаков. Поэтому мне нужно заполнить пустые ячейки новых признаков одинаковыми значениями, чтобы уравнять формы. Затем я попробовал это с медианой