Q4, Q6 и Q8: как выбрать сжатие модели
Одна модель может предлагаться в нескольких вариантах. Название похоже, а размер файла и потребление памяти отличаются. Чаще всего причина — квантизация.
Идея квантизации
Квантизация уменьшает точность представления чисел в модели. Это позволяет снизить требования к памяти. Обозначения Q4, Q6 и Q8 указывают на семейства вариантов с разной разрядностью, но точное устройство зависит от конкретного формата.
Аналогия со сжатием изображения помогает понять компромисс, но не является точным описанием алгоритма. Q8 нельзя называть «оригиналом без потерь» относительно исходных весов высокой точности.
Меньше файл — не всегда лучше для задачи
Компактный вариант может позволить запустить модель, которая иначе не помещается в память. При этом качество на отдельных задачах может измениться. На результат также влияют сама модель, её обучение, запрос и настройки.
Нельзя обещать, что Q8 всегда отвечает правильно, а Q4 всегда ошибается. Сравнивать варианты полезно на ваших реальных примерах, а не по одному эффектному ответу.
С чего начать
Практичная отправная точка — небольшая модель Q4 с коротким контекстом. Если она работает устойчиво, сравните с более крупной моделью или другим вариантом квантизации. Меняйте один параметр за раз.
Оставляйте память для операционной системы и приложений. Более объёмный контекст тоже требует ресурсов. Наличие свободного места на флешке не говорит о достаточной памяти для вычислений.
Что означает GGUF
GGUF — формат хранения модели и метаданных, используемый совместимыми средами локального запуска. Не любой файл GGUF автоматически подходит любой версии программы: важны архитектура модели и поддержка формата.
Перед добавлением новой модели проверьте документацию среды, лицензию модели и требования конкретного файла.