knowledge-distillation

Вопрос или проблема Я реализую модель дистилляции знаний. Однако баланс и соотношение между разными компонентами потерь сильно влияют на дистилляцию знаний. Есть ли какие-то хорошие практики для нахождения оптимальных весов потерь и существуют ли соответствующие

Вопрос или проблема Я считаю, что нейронный код/нейронное кодирование (как нейроны или смещения кодируют символические концепции цепей концептов, т.е. каждая функция является цепью символических функций и их параметров) является ключом к пониманию нейронных