Data Science
Контекстная коррекция орфографии
00
Вопрос или проблема Я хочу создать проверку правописания, которая исправляет орфографические ошибки с учетом контекста. Например, Ошибочное предложение: Я хочу подать заявку на кредит корзину Исправленное предложение: Я хочу подать заявку на кредит карту
Data Science
Почему неправильно обучать и тестировать модель на одном и том же наборе данных?
00
Вопрос или проблема Каковы подводные камни такого подхода и почему это плохая практика? Может ли так случиться, что модель начинает запоминать изображения “наизусть” вместо того, чтобы понимать лежащую в основе логику?
Data Science
Почему было бы неправильно вычислять и использовать средние значения тестового набора?
00
Вопрос или проблема У меня есть 2 вопроса касательно всей темы набора данных в машинном обучении, и я был бы рад получить ответ 🙂 1. Почему неправильно вычислять и использовать средние значения и стандартные отклонения тестового набора?
Data Science
Как обучать NER LSTM на уровне отдельного предложения
00
Вопрос или проблема Мои документы представляют собой всего лишь одно предложение, содержащее одну аннотацию. Предложения с одинаковой именованной сущностью, конечно, похожи, но не по контексту. Примеры обучения NER (насколько мне известно) всегда имеют
Вопросы и ответы
Обнаружение заболеваний с помощью НЛП
00
Вопрос или проблема Я работаю над проектом, цель которого – определить название болезни из разных предложений. Мне нужны некоторые советы. Я ищу библиотеки, из которых я могу получить список названий болезней, чтобы по крайней мере обнаружить болезнь в своем датафрейме.
Data Science
Обучение вариационного автокодировщика (VAE) для генерации случайных чисел
00
Вопрос или проблема У меня есть сложное 20-мерное многомодальное распределение, и я рассматриваю обучение VAE для приближения его с помощью 2000 образцов. Однако, в частности, с целью впоследствии генерировать псевдослучайные числа, соответствующие структуре распределения.
Data Science
Порог дисперсии с проблемой на Python
00
Вопрос или проблема Я начинающий в scikit-learn, и у меня небольшая проблема при использовании модуля отбора признаков VarianceThreshold. Проблема в том, что когда я устанавливаю дисперсию Var[X]=.8*(1-.8) предполагается, что будут удалены все признаки
Data Science
Можно ли реализовать векторизированную версию функции активации Maxout?
00
Вопрос или проблема Я хочу реализовать эффективную и векторизованную функцию активации Maxout с использованием Python numpy. Вот статья, в которой была представлена “Maxout Network” (авторы Гудфеллоу и др.). Например, если k = 2: def maxout(x
Data Science
Как K и V извлекаются из выходных данных энкодера в трансформере?
00
Вопрос или проблема Я пытался понять архитектуру трансформера из работы “Всё, что вам нужно — это внимание”. Работа показывает следующую архитектуру трансформера: Как $K$ и $V$ извлекаются из выходных данных кодировщика размерности $512$ (которые
Data Science
Уравнение гиперплоскости для радиальной основы SVM.
00
Вопрос или проблема Мне нужно сгенерировать уравнение для гиперплоскости, у меня есть две независимые переменные и одна бинарная зависимая переменная. Что касается следующего уравнения для svm, $f(x)=sgn( sum_i alpha_i K(sv_i,x) + b )$ У меня есть две
Data Science
Как прогнозировать доход от контрактов с привязкой ко времени?
00
Вопрос или проблема Я изучаю идеи о том, как я могу прогнозировать доход от контрактов. Например, у меня могут быть клиенты, которые приобрели ежемесячный мобильный план, годовой план или трехлетний план. Как я могу использовать эту информацию для прогнозирования дохода?
Data Science
Оценка неопределенности регрессионных моделей
00
Вопрос или проблема Учитывая регрессионную модель с n признаками, как я могу измерить неопределенность или доверие к модели для каждого предсказания? Предположим, для конкретного предсказания точность потрясающая, но для другого –
Data Science
Можно ли вычислить оценку Дэвиса-Боулдина на основе заранее вычисленной матрицы расстояний с использованием sklearn?
00
Вопрос или проблема Я пытаюсь вычислить показатель Дависа-Боулдина, чтобы сравнить различные подходы к кластеризации. У меня есть предрасчитанная матрица расстояний (которая представляет собой расстояние на основе редактирования между текстами).
Data Science
Как выполнить обратный пошаговый отбор в Python
00
Вопрос или проблема В настоящее время я работаю с книгой: «Введение в статистическое обучение с приложениями на Python». В упражнениях до сих пор я использовал пакет ISLP. Сейчас я пытаюсь решить упражнения из главы 6 и застрял на вопросе 8, часть (d).
Data Science
сбивающий с толку относительно кластеризации k-means для корреляции данных
00
Вопрос или проблема Я пытаюсь обдумать свой процесс, прежде чем начать какое-либо реальное программирование. Однако я легко запутался. Предположим, у меня есть 100 инструментов, и я знаю их ценовые колебания каждый день в течение года.
Data Science
Извлечь фразы/ключевые слова, которые ПОДОБНЫ списку ключевых слов/фраз на Python, из документа.
00
Вопрос или проблема ИЗМЕНЕНИЕ : Если бы мне нужно было сопоставить односоставные фразы, я мог бы сначала токенизировать текст из документа, а затем рассчитать косинусное сходство всех токенов со всеми ключевыми словами из keyword_list.
Data Science
Модель классификации изображений транспортных средств – загрузка завершена
00
Вопрос или проблема Я хотел бы обучить однопurpose модель для классификации изображений грузовиков/транспортных средств на 2 категории: грузовик с закрытым грузовым отсеком всё остальное, например, грузовик с незакрытым грузом Груз закрыт Груз не закрыт
Data Science
Rapidminer и веса деревьев решений
00
Вопрос или проблема В Rapidminer, веса дерева решений являются мерой “важности” атрибутов в процессе разбиения? Если да, то почему полезно знать эти веса? Есть ли лучшие методы для определения наиболее дискриминантных признаков в наборе данных?
Data Science
Как я могу обучить модель изменять вектор, поощряя модель на основе ближайших соседей измененных векторов?
00
Вопрос или проблема Я провожу эксперимент с системой извлечения документов, в которой документы представлены в виде векторов. Когда поступают запросы, они преобразуются в векторы тем же методом, который используется для документов.
Вопросы и ответы
Как вычислить среднее и дисперсию вложенных тензоров?
00
Вопрос или проблема Для torch.Tensor легко вычислить среднее и дисперсию, но я не могу найти способы вычислить среднее и дисперсию для вложенных тензоров. Вложенные тензоры поддерживают операцию layer_norm, которая включает операции среднего и дисперсии. Спасибо за вашу помощь!