Data Science
Можно ли заменить категориальные данные на числа в задачах классификации?
00
Вопрос или проблема Я работаю с данными классификации, которые имеют 9 классов и множество признаков. Классы, очевидно, категориальные, как и некоторые признаки. Я использовал технику одноразового кодирования для преобразования категориальных данных в числовые.
Data Science
ValueError: Найдены входные переменные с несовпадающим количеством образцов: [6, 366]
00
Вопрос или проблема Я пытаюсь разделить свои x и y на обучающие и тестовые данные для моей модели машинного обучения, но получаю эту ошибку: ValueError: Найдены входные переменные с непоследовательным количеством образцов: [6, 366].
Data Science
Как использовать новый набор данных на предобученной модели нейронной сети?
00
Вопрос или проблема Я собрал набор данных, который хотел бы передать предобученной модели для выполнения некоторых прогнозов. Я ищу несколько шагов/процессов, которые могли бы направить меня в этом. Должен ли я дообучить? Если да, то что именно нужно дообучить?
Data Science
Ударенный с несколькими временными рядами, нуждаюсь в помощи.
00
Вопрос или проблема Ударил здесь более 4 недель В настоящее время я имею дело с данными о продажах, имеющими несколько временных рядов (сотни), требование состоит в том, чтобы построить одну модель, которая может быть использована для прогнозирования продаж.
Data Science
Сократите длину данных для эффективного обучения.
00
Вопрос или проблема У меня есть данные о покупках клиентов, в которых каждая строка указывает на товар, купленный клиентом. Проблема в том, что даже если клиент одновременно покупает пять товаров, то для этого будет пять разных строк, и в результате общее
Data Science
Будут ли особенности на изображении (края, цвет и т.д.) влиять на производительность сферических k-средних?
00
Вопрос или проблема Я совсем нов в машинном обучении, недавно я реализовал сферические k-средние, но в конечном итоге нашел интересный момент в результате. Я использовал четыре набора данных: MINST, CIFAR-10, Fashion-MNST и SVHN. Я следовал статье “
Data Science
Логарифмические шансы против логарифмической вероятности
00
Вопрос или проблема Логарифмические шансы имеют линейную зависимость с независимыми переменными, поэтому логарифмические шансы равны линейному уравнению. Что насчет логарифма вероятности? Как он связан с независимыми переменными?
Data Science
Как адаптировать трансформеры для классификации временных рядов 2D-изображений с нерегулярной выборкой по нескольким фильтрам?
00
Вопрос или проблема Я работаю над классификацией временных рядов 2D изображений, наблюдаемых в нескольких фильтрах (или каналах), но не одновременно. Например, у меня есть наблюдения в двух фильтрах — g-диапазоне и r-диапазоне — сделанные в разные временные метки, см.
Data Science
AdaGrad: Интуиция
00
Вопрос или проблема Формула обновления для Adagrad следующая: \begin{equation} w^i(t)=w^i(t-1) -\frac{\eta}{\sqrt{\epsilon +\sum_{1}^t |\nabla_i\mathcal{L}|^2} } \nabla_i\mathcal{L} \end{equation} Это указывает на то, что если накопленный градиент велик
Data Science
Преобразование значения сходства в значение несходства
00
Вопрос или проблема Предположим, у нас есть значения сходства между некоторой точкой данных в интервале $[0, 1]$. Как я могу преобразовать эти значения сходства в значения несходства в интервале $[0, ∞]$? Вы можете использовать $-\ln x$ в качестве преобразования.
Data Science
Извлечение средних значений и ковариаций компонентов из смешанной модели
00
Вопрос или проблема В настоящее время я пытаюсь создать простую модель гауссовой смеси с несколькими переменными, используя tensorflow probability. В частности, у меня есть данные с 2-мерными входами и 2-мерными выходами, и я ищу способ создать вероятностную
Data Science
Память RAM崩溃 для функции преобразования XML в DataFrame
00
Вопрос или проблема Я создал следующую функцию, которая преобразует XML файл в DataFrame. Эта функция хорошо работает для файлов размером менее 1 ГБ, для всего, что больше этого, память (13 ГБ в Google Colab) выдает ошибку. То же самое происходит, если
Data Science
Почему сверточная нейронная сеть с уменьшающимся размером фильтров может показывать лучшие результаты, чем “обычная” сеть с увеличивающимися размерами?
00
Вопрос или проблема Я проводил десятки (или, вероятно, сотни) тестов, и лучший результат с меньшим количеством параметров (4 раза или меньше) был достигнут с архитектурой, использующей уменьшающий размер фильтров. Это свёрточная нейронная сеть (CNN) для
Data Science
Низкая дисперсия против высоких валидационных оценок
00
Вопрос или проблема Итак, я пытаюсь сравнить две модели, скажем, модель(1) имеет точность на обучении 90% и точность на валидации 86%, в то время как модель(2) имеет точность на обучении 87% и точность на валидации 85%. Теперь модель(1) имеет лучший результат
Data Science
Как получить значимые результаты от сети EncoderDecoder для прогнозирования временных рядов
00
Вопрос или проблема Я пытаюсь обучить сеть EncoderDecoder для многомерного временного ряда на входе и одномерного временного ряда на выходе. В частности, мой набор данных состоит из входных данных с 32 характеристиками на 600 секунд и должен производить 1 выход на 300 секунд.
Data Science
Модель Keras LSTM неэффективна
00
Вопрос или проблема Я обучил модель LSTM для определения фальшивых доменных имен. Мой набор данных выглядит так: домен,фейк google, 0 bezqcuoqzcjloc,1 ... с 50% нормальных и 50% фейковых доменных имен. Вот мой код для тренировки LSTM: def build_model(max_features
Data Science
Снизьте переобучение модели на одном подмножестве данных.
00
Вопрос или проблема У меня есть набор данных о продажах продуктов. В этом наборе данных есть случаи, когда происходят markdown-скидки. Исторически, обычно в данных ранее было 30% скидок, когда продукты продавались лучше, а комбинации скидок 30% и 50%
Data Science
Функция потерь Seq2Seq
00
Вопрос или проблема Я читал статью neural_approach_conversational_ai.pdf. И в разделе Seq2Seq для генерации текста есть формула, которая, на мой взгляд, немного неправильная [1]: https://i.sstatic.net/sX0it.png Может кто-то помочь мне подтвердить эту формулу?
Data Science
Переподбор нормально распределенного набора данных для регрессионных задач?
00
Вопрос или проблема У меня есть набор данных из операционного процесса с 5 измерениями и 1 результатом. Все значения нормально распределены. Когда я обучаю регрессионную модель на этом наборе данных, она хорошо работает на большинстве данных – в условиях по умолчанию.
Data Science
Распознавание лиц с видеофайлом
00
Вопрос или проблема Я создал модель распознавания лиц на основе учебника Pyimagesearch Она отлично работает с изображениями, но проблема, с которой я сталкиваюсь, связана с видео. Я распознаю лица кадр за кадром (5 кадров в секунду).