Почему 100%-ная точность на тестовых данных не является хорошей?

Мне задали этот вопрос на собеседовании, и я не смог дать удовлетворительный ответ не только по ожиданиям интервьюеров, но и по своим собственным. Вопрос был как выше, только он позже привел пример, почему, если моя модель предсказала бы цены на нефть на завтра с 100% точностью, это могло бы быть плохо или почему иметь модель с 100% точностью плохо или нет? Есть ли что-то в вопросе или есть более глубокое объяснение?

Я вижу два пути:
1 – Есть ошибка
2 – Ошибки нет.

1 – Ищите ошибку

• Вы, вероятно, допустили утечку данных. Вы добавили целевую переменную в одну из признаков, и модель это поняла.

• Валидация неправильная, у вас временной ряд, и вы провели случайную валидацию.

• В вашем тесте всего лишь несколько экземпляров или он уникален.

• Тест повторно использует данные из обучения.

2 – Ошибки нет

Если предсказание верное и у вас 100% точность, тогда нет необходимости использовать машинное обучение. Откройте модель, узнайте, как она принимает решения и не занимайтесь машинным обучением, занимайтесь классическим моделированием.

Например, если ваша модель – это дерево решений, просто постройте его или распечатайте и получите решение самим.

Это иногда происходит при моделировании ранее разработанного алгоритма. Новая модель машинного обучения способна понять, что происходило раньше.

Кратчайшее объяснение: вы, возможно, переобучили свои данные.

Конечно, это происходит в тестовом наборе данных, а не в учебном… но что если по ошибке вы допустили утечку данных из обучающего набора в тестовый (это происходит, поверьте мне).

Когда вы получаете 100% точность, это, скорее всего, форма переобучения, а это в конечном счете ошибка. Снова, даже в тестовом наборе… это может быть просто утечка данных.

Не уверен, что это будет удовлетворительный ответ… Первое, что приходит на ум, когда я получаю 100% точность на тестовых данных – это “Я, должно быть, что-то сделал неправильно”.

Чаще всего я добавлял признак в набор данных, который на самом деле является своего рода прокси для целевой переменной. То есть я допустил глупую ошибку.

Но иногда это не глупая ошибка, как добавление признака. Я действительно не помню источник, поэтому не могу привести на него ссылку. Но я слышал в подкасте о некоторых ребятах, которые пытались классифицировать пациентов с раком по некоторым признакам (то есть не по изображениям раковых клеток или что-то в этом роде), и они построили модель, которая была довольно простой и удивительно хорошей (хотя и не с 100% точностью). Суть в том, что они включили своего рода идентификатор пациента в качестве признака, и этот идентификатор каким-то образом содержал информацию о больнице, которая лечила их. Были несколько больниц, которые лечили очень тяжелые случаи, так что модель училась на том, что любой, кто обращался в эти больницы, был действительно болен, и не действительно училась, кто был болен.

Надеюсь, это поможет.

Если у вас есть модель, которая имеет $100%$ точность на невидимых тестовых данных, есть некоторые ситуации, которые я объясню.

1. Если у вас есть ситуация, которая не меняется со временем, и в этом нет исключений, то указанная точность является очень удовлетворительной, и вы можете с уверенностью сказать, что ваша модель научилась делать то, что должна. Например, вы можете реализовать сеть LSTM, которая сможет находить сумму двоичных чисел. В этом случае, поскольку вы всегда знаете, что сумма типичных $10 + 01$ значений всегда равна $100$, это то, что не меняется, $100$% приемлемо.
2. Есть случаи, когда ситуации текущего времени отличаются от завтрашних. Это означает, что поведение природы, которую вы собираетесь моделировать, это не функция, а распределение. Это означает, что для текущего пространства признаков вы можете иметь разные результаты. Это случай, когда в текущем пространстве признаков распределение различных классов, т.е. в задачах классификации, пересекается. Это означает, что невозможно иметь $100%$ точность, потому что природа, которую вы собираетесь моделировать, не является функцией. Если я хочу объяснить это снова, есть две ситуации. Первая – природа распределения временно вариабельна или инвариантна. Первый случай – это то, что затрагивается предыдущими результатами. Последний случай может иметь противоречивые результаты с теми же входными признаками из-за пересечения распределений.

Сумит кинг 👑

1. `

[

]1

`

Заголовок

Обучение тяжелой модели на небольшом наборе данных, все из одного распределения, может вызвать переобучение. Даже на тестовом наборе. Когда вы развертываете эту модель на реальных данных, вы можете испытать резкое снижение производительности модели. (например: высокая изменчивость).

Отредактировано: Пересматривая вопрос снова, я пытаюсь объяснить. Представьте, что вы пытаетесь обучить классификатор птиц, который может предсказать, есть ли птица на изображении или в видеокадре. Вы обучаете и тестируете свою модель на качественных и четких изображениях птиц, возможно, загруженных из интернета или сделанных профессионально… Вы получаете 100% точность на обучающем и тестовом наборе… Но когда вы развертываете свою модель… Она может не показывать такие же результаты, потому что изображения, которые будет использовать модель, могут быть не такими ясными, как данные для обучения и тестирования. 100% точность на тесте неплоха, но не является окончательной метрикой производительности…