Вопрос или проблема
Мне нужно предсказать техническое агрегированное состояние, используя данные мониторинга вибраций. Мы считаем эти данные нестационарными, т.е. параметры распределения и описательная статистика не постоянны. Я обнаружил, что одним из лучших алгоритмов для таких задач является Learn++.NSE, и мы используем его с многослойным перцептроном в качестве базового классификатора.
Насколько я знаю, необходимо нормализовать данные для операций с нейронными сетями. Мы решили нормализовать, используя среднее, стандартное отклонение и сигмоидальную функцию. Мы обучаем сети ансамбля с наборами с различными значениями параметров распределения.
Итак, мои вопросы следующие:
- Как нормализовать новый обучающий набор во время оценки предыдущих сетей? Проблема заключается в изменении описательной статистики.
- Как нормализовать входные данные при использовании ансамбля? Текущая статистика отличается от предыдущей.
Пакетная нормализация является критической техникой для быстрой скорости обучения и обобщения [8]. В этой статье предлагается слой временной пакетной нормализации для стационарности входных временных рядов.
Ответ или решение
Для решения вашей задачи по нормализации данных и классификации в условиях нестабильности с использованием Learn++.NSE и многослойного перцептрона (MLP), необходимо учесть несколько ключевых аспектов процесса нормализации.
1. Нормализация новых обучающих наборов во время оценки предыдущих сетей
Когда вы работаете с нестабильными данными, статистические характеристики вашего обучающего набора могут изменяться со временем, что усложняет нормализацию новых наборов данных. Чтобы справиться с этим, вы можете использовать адаптивный подход к нормализации:
-
Метод скользящего среднего: Поддерживайте динамическое обновление средних значений и стандартных отклонений на основе последнего обучающего набора. Например, вы можете вычислить новые параметры (среднее и стандартное отклонение) на основе предыдущих параметров и добавленного нового набора данных. Это поможет сгладить изменения в статистической информации.
-
Использование временных окон: Разделите ваши данные на временные окна и используйте статистические характеристики только тех данных, которые были собраны за указанное окно времени. Это может помочь сохранить актуальность статистических значений и лучше учесть изменения во времени.
-
Адаптивная нормализация: Вы можете реализовать алгоритм, который будет автоматически подстраивать параметры нормализации в зависимости от изменения статистических характеристик данных. Таким образом, при добавлении нового набора данных, алгоритм будет самостоятельно подстраивать средние и стандартные отклонения.
2. Нормализация входных данных при использовании ансамбля
При использовании ансамбля классификаторов необходимо обеспечить, чтобы все сети имели доступ к одинаковым масштабированным данным, что требует учета статистических изменений во времени:
-
Глобальная нормализация: Сначала вы можете рассмотреть глобальную нормализацию ваших данных перед их подачей в ансамбль. Это значит, что для каждого класса можно использовать фиксированные параметры нормализации, полученные из первого обучающего набора, чтобы минимизировать влияние изменений в статистике.
-
Фиксированные параметры нормализации: Если у вас есть заранее известные диапазоны данных для ваших входных переменных, вы можете использовать эти фиксированные параметры для нормализации новых входов, не обращая внимания на изменившуюся статистику.
-
Контекстная нормализация: Используйте контекстные данные (например, временные метки или метаданные), чтобы решить, какую нормализацию применять к данным. Это может предусматривать применение разных параметров нормализации в зависимости от условий (например, сезонные изменения).
Заключение
В условиях нестабильности данных нормализация играет решающую роль в гарантировании корректности ваших классификаций. Используя адаптивные методы нормализации и сохранение актуальных статистических характеристик, вы сможете более точно и эффективно обучать ваши сети.
Также стоит отметить, что использование методов глобальной нормализации и фиксированных параметров может значительно упростить процесс и снизить вероятность ошибок, вызванных изменениями в статистике.
Исследуйте предложенные методы и адаптируйте их под вашу конкретную задачу для достижения наилучших результатов в классификации условий с использованием вибрационных данных.