Data Science
настройка гиперпараметров с использованием валидационного набора
00
Вопрос или проблема Насколько я знаю, и поправьте меня, если я не прав, использование кросс-валидации для настройки гиперпараметров нецелесообразно, когда у меня есть огромный набор данных. В таком случае лучше разделить данные на обучающий, валидационный и тестовый наборы;
Data Science
Контекстная коррекция орфографии
00
Вопрос или проблема Я хочу создать проверку правописания, которая исправляет орфографические ошибки с учетом контекста. Например, Ошибочное предложение: Я хочу подать заявку на кредит корзину Исправленное предложение: Я хочу подать заявку на кредит карту
Data Science
Почему неправильно обучать и тестировать модель на одном и том же наборе данных?
00
Вопрос или проблема Каковы подводные камни такого подхода и почему это плохая практика? Может ли так случиться, что модель начинает запоминать изображения “наизусть” вместо того, чтобы понимать лежащую в основе логику?
Data Science
Журналы для публикации доказательства математического результата, используемого для алгоритмов нейронных сетей
00
Вопрос или проблема Я хотел бы знать, какой журнал является подходящей площадкой для результатов, описанных ниже. Недавно я наткнулся на конкретный алгоритм обучения нейронных сетей. Алгоритм основан на результате из матричного анализа.
Data Science
Что происходит с операторами (matmul и т.д.), когда модель квантизируется?
00
Вопрос или проблема Квантование параметров модели касается того, как снизить точность весов модели, таких как в Квантовании или Введении в квантование, приготовленном в 🤗 с 💗🧑‍🍳. Но что насчет операторных функций, таких как Matmul или Softmax или Cross Entropy Loss?
Data Science
Какие модели неявно учитывают взаимодействие между признаками?
00
Вопрос или проблема Я хотел бы лучше понять, как разные модели (в частности, нейронные сети и случайные леса, но и любые другие) учитывают взаимодействие между признаками в табличных данных? Например, может ли модель в ходе обучения понять, что “
Data Science
Активные функции без ReLU лучше для небольших/плотных наборов данных?
15
Вопрос или проблема Исходя из вопросов ниже, я пришёл к выводу, что ReLu требует меньше вычислительных ресурсов и лучше справляется с разреженностью. Почему ReLU используется в качестве функции активации? Почему ReLU лучше других функций активации
Data Science
Линейная регрессия в Pytorch – исчезающие градиенты с Softmax
00
Вопрос или проблема Я реализую нелинейную регрессию с использованием нейронных сетей с одним слоем в Pytorch. Однако при использовании активационной функции, такой как ReLu или Softmax, потеря застревает, значение не уменьшается по мере увеличения выборки
Data Science
Потеря валидации не уменьшается при использовании плотных слоев, хотя данные для обучения и валидации имеют одно и то же распределение.
00
Вопрос или проблема У меня есть проблема, с которой мне сложно справиться: я не понимаю концепцию, которая приводит к этим результатам. Я использую плотный слой keras для отображения 13 входных признаков на 3 выходные метки. Во время обучения значение
Data Science
Модель нейронной сети для разреженного многоклассового классификатора на Tensorflow
00
Вопрос или проблема Проблема, которую я пытаюсь решить, заключается в следующем: данные из Movielens с N_users=6041 и N_movies=3953, ~1 миллион оценок. Для каждого пользователя определяется вектор размером N_movies, и значения вектора равны 1, если пользователь
Data Science
Разница между феноменом двойного спада и доброкачественным переобучением
00
Вопрос или проблема Я пытаюсь понять разницу между феноменом двойного спуска и доброкачественным переобучением. Двойной спад возникает в модели, когда ошибка на тестах возрастает с увеличением сложности модели после определенной точки, а затем снова уменьшается
Data Science
Точность и потеря в МЛП
00
Вопрос или проблема Я пытаюсь исследовать модели для предсказания, выиграет ли команда или проиграет, основываясь на характеристиках команды и ее соперника. Мои обучающие данные состоят из 15 000 образцов с 760 числовыми признаками.
Data Science
Новооткрытое правило обучения
00
Вопрос или проблема Кто-нибудь знает, как этот алгоритм выполняет процесс обучения для нейронных сетей? Я наткнулся на это решение. Оно работает, но я не знаю, как и почему. Это нейронно-локально и работает без ошибок или обратного распространения.
Data Science
Держите градиент ошибки на уровне входов не слишком высоким
00
Вопрос или проблема Во время градиентного спуска, после того как ошибка передается от каждого нейрона к входному слою, она становится действительно высокой. Как мне это исправить? . Ответ или решение Чтобы ответить на вопрос о том, как предотвратить слишком
Data Science
Шаблоны бинарной классификации – модель не переобучается
00
Вопрос или проблема Я работаю над очень базовой задачей бинарной классификации. Для каждого набора из четырех чисел с плавающей точкой $(x,y,z,w)$ я хочу проверить, попадают ли они в одну из категорий или нет. Я написал модель в Keras с 3 плотными слоями
Data Science
Обучение нейронной сети с ДВУМЯ возможными правильными выходами для одного входа
00
Вопрос или проблема У меня есть система в виде черного ящика, которая имеет два правильных вывода для одного входного образца. Теперь я хочу обучить нейронную сеть, чтобы она генерировала хотя бы один из правильных выводов для этого входного образца.
Data Science
Модель Keras с 3 входными изображениями, дающая неправильный вывод
00
Вопрос или проблема Я создал модель keras, которая принимает 3 изображения на вход, передает их в отдельные CNN backbone (mobilenet_v2) и объединяет результаты из 3 отдельных потоков. Эти объединенные выходы далее проходят через FCN и дают вероятностные значения для 10 классов.
Data Science
Переменный множитель для предельной правдоподобности
00
Вопрос или проблема В знаменитой статье Оценка масштабируемого предельного правдоподобия для выбора модели в глубокое обучение Иммер и др. Иммер использует приближенную лапласовскую оценку для оценки предельного логарифмического правдоподобия, которое
Data Science
Высокие метрики точности при небольшом (но одинаково выборочном) наборе данных означают хороший модель?
00
Вопрос или проблема Я тренировал свою CNN на 200 изображениях на класс для задачи классификации. Эта задача является задачей бинарной классификации. И с количеством тестовых данных (25 на класс) я получаю хорошие значения точности, полноты и прецизионности.
Data Science
Шаги занимают слишком много времени для завершения
00
Вопрос или проблема Я пытаюсь обучить модель, которая, на мой взгляд, занимает слишком много времени по сравнению с другими наборами данных, поскольку для завершения одного шага требуется около 9 секунд. Я думаю, что проблема в том, что набор данных не