quantization

Вопрос или проблема Квантование параметров модели касается того, как снизить точность весов модели, таких как в Квантовании или Введении в квантование, приготовленном в 🤗 с 💗🧑‍🍳. Но что насчет операторных функций, таких как Matmul или Softmax или Cross Entropy Loss?

Вопрос или проблема Я полагаю, что не все инструменты и модули PyTorch работают с квантизированными (например, до int8) моделями. Но что может не работать и почему? Поддержка устройств и операторов Поддержка квантизации ограничена подмножеством доступных

Вопрос или проблема Можно ли использовать квантизированную модель (например, int8) и добавлять слои (например, PyTorch Linear) для тонкой настройки в PyTorch? Если да, то как преобразовать выходные векторы квантизированной модели, чтобы подать их на добавленные слои?