Data Science
Биномиальная семья в логистической регрессии
00
Вопрос или проблема Меня спросили на интервью, почему мы используем биномиальное распределение в логистической регрессии и как это связано с классом, который мы предсказываем? Может кто-то объяснить, без каких-либо математических уравнений, почему мы
Data Science
Динамически удалять данные из обучающего набора данных
00
Вопрос или проблема Сегодня мне пришло в голову, что было бы неплохим подходом динамически удалять данные из обучающего набора при обучении нейронной сети. Предполагая задачу классификации, подход мог бы быть таким: Обучить сеть на эпоху.
Data Science
Обратное распространение ошибки сверточной нейронной сети – путаница
00
Вопрос или проблема Я уже прочитал много статей на эту тему, и Градиентный спуск в свёрточных нейронных сетях от Jefkine кажется самым лучшим. Хотя, как сказал автор, Для простоты мы будем рассматривать случай, когда входное изображение является grayscale, т.
Data Science
Суммирование самовнимания и потеря информации
00
Вопрос или проблема В самовнимании внимание для слова вычисляется следующим образом: $$ A(q, K, V) = \sum_{i} \frac{exp(q.k^{<i>})}{\sum_{j} exp(q.k^{<j>})}v^{<i>} $$ Мой вопрос: почему мы суммируем векторы множественночности * Значение.
Data Science
Как решить, кого продвигать? Кластеризация или дерево решений?
00
Вопрос или проблема Я работаю с набором данных, который имеет достаточно наблюдений и около 10 переменных, половина переменных числовые другая половина переменных категориальные с 2-3 уровнями (демографические) одна переменная идентификатора одна последняя
Data Science
Это случай утечки или нет?
00
Вопрос или проблема У меня есть набор данных о производительности отдельных лиц в 1960, 1970, 1980 и 1990 годах, например, рейтинг шахмат в эти годы для группы игроков с 40-летней карьерой. Меня попросили построить модель для предсказания производительности
Data Science
Как выбрать признаки для моделей машинного обучения с сотнями переменных в конкурсах Kaggle?
00
Вопрос или проблема В настоящее время я участвую в конкурсе на Kaggle, и мой набор данных содержит около 100 переменных. Мне интересно, как другие обычно подходят к выбору признаков, когда у них так много переменных, особенно если у них нет экспертных знаний в данной области.
Data Science
Отрицательные примеры для нейронной сети классификации изображений “Да/Нет”
00
Вопрос или проблема Я пытаюсь переобучить нейронную сеть с использованием трансферного обучения, чтобы она могла классифицировать, есть ли на изображении определенный объект, скажем, автомобиль. Мой положительный набор данных довольно мал, всего 2500~ изображений.
Data Science
Референсная реализация q-learning на Python
00
Вопрос или проблема Я новичок в машинном обучении и пытаюсь изучить Q-обучение. Я прочитал несколько текстов и понимаю общий смысл, но что бы мне действительно хотелось увидеть, так это простой пример алгоритма Q-обучения на Python, который я мог бы запустить
Data Science
Модель Efficient Net V2 M ONNX выводит значительно медленнее на небольшом входе.
00
Вопрос или проблема Когда я конвертирую модель Efficient net v2 m из Pytorch в Onnx с входами разных размеров, я замечаю странное и необъяснимое поведение. Я надеялся найти объяснение своим наблюдениям в сообществе. На моем RTX 4090 модель ONNX на изображении
Data Science
Обработка неизвестных слов при создании моделей NER
00
Вопрос или проблема Я работаю над своей моделью распознавания именованных сущностей, которую создаю с помощью библиотеки Keras на Python. Я прочитал, что мне нужно перечислить все слова, которые появляются, чтобы получить векторизованные последовательности.
Data Science
Настройка веса потерь в дистилляции знаний
00
Вопрос или проблема Я реализую модель дистилляции знаний. Однако баланс и соотношение между разными компонентами потерь сильно влияют на дистилляцию знаний. Есть ли какие-то хорошие практики для нахождения оптимальных весов потерь и существуют ли соответствующие
Data Science
Работа с наборами данных высокой размерности
00
Вопрос или проблема У меня есть данные размерности (25000, 100, 500), т.е. 25000 строк, каждая из которых состоит из двумерной матрицы 100 X 500. В данный момент я применяю только CNN для целей классификации. Есть ли другой способ, с помощью которого
Data Science
Как представить количество нейронов в LSTM для схемы архитектуры?
00
Вопрос или проблема Я пытаюсь визуализировать схему нейронной сети и нашел отличный инструмент для создания схем здесь http://alexlenail.me/NN-SVG/index.html. Я отредактировал файл SVG, чтобы изменить один из плотных слоев на слой LSTM, а входные данные
Data Science
Почему бы нам не обновлять параметры активации в RNN постепенно от одной активации к следующей, по мере того как сеть учится больше?
00
Вопрос или проблема Я очень нов в (односторонних, стандартных) РНН и моделировании последовательностей в целом, и все, что я понял о мотивации соединения между двумя последовательными скрытыми слоями/активациями, это то, что: это соединение необходимо
Data Science
Какова связь между устойчивостью к враждебным атакам и обобщением вне распределения (OOD)?
00
Вопрос или проблема Вы часто слышите слово «Robustness» (устойчивость, определяемая как устойчивость модели к ложным корреляциям), связанное с противодействующими атаками и обобщением вне распределения, и задаетесь вопросом, как эти концепции взаимосвязаны?
Data Science
Как я могу предсказать лучшее лечение для нового пациента?
00
Вопрос или проблема В рамках школьного проекта мне нужно проанализировать набор данных с пациентами (с характеристиками: пол, возраст, курящий 0/1 и т. д.), которые получали различные лечения (по одному на пациента) с ответом на это лечение 1/0.
Data Science
Как я могу объяснить причины различной производительности для двух различных моделей LSTM и улучшить производительность?
00
Вопрос или проблема Я создал две разные модели для прогноза нагрузки. Датасет имеет шесть признаков. Метрика оценки производительности – это средняя абсолютная процентная ошибка (MAPE). Обе модели основаны на LSTM. Вот первая модель и ее производительность.
Data Science
Как анализировать результаты кросс-валидации для определения переобучения.
00
Вопрос или проблема Я выполнил перекрестную проверку с использованием k-складок и измерил полученную среднюю ошибку (RMSE) для каждой складки. Это было сделано с 5 складками, и 4 измерения дали схожие ошибки (между 10% и 12%), но одно из тестов дало ошибку 4%.
Data Science
Возможно ли применение логистической регрессии с использованием удобной выборки?
00
Вопрос или проблема Я собрал данные опроса бездомных людей, изучая их употребление наркотиков, уровень образования, возраст, пол и т.д. Я надеюсь провести логистическую регрессию, чтобы узнать, насколько бездомность (+ другие зависимые переменные) влияет