Искусственный интеллект

Квантизация

Quantization · Квантизация модели

Квантизация модели — способ представлять её веса или другие вычисляемые величины с меньшей точностью. Это может уменьшить потребление памяти и затраты вычислений при запуске нейросети.

Как это работает на примере

Вместо хранения каждого значения в исходном числовом формате применяют более компактное представление. Методы отличаются тем, какие части модели они преобразуют и как компенсируют потерю точности. Результат зависит от модели и поддерживаемого оборудования.

Полная версия модели не помещается в доступную память. Пользователь выбирает совместимый квантизированный вариант и проверяет, хватает ли ресурсов для модели, контекста и служебных данных.

Меньший файл не гарантирует более быструю работу на любом компьютере. Возможны потери качества; обозначение разрядности не описывает все накладные расходы и настройки.