Настройка Ollama для запуска 14B-модели с контекстом до 32k: параметры num_ctx, Flash Attention и KV-кэш, а также ограничения памяти.
Собрано в Sveska из открытых обсуждений сообщества. Авторы сообщений не указываются.
Обновлено
Для 14B-модели в Ollama можно попробовать увеличить num_ctx до 32k, включить Flash Attention и использовать KV-кэш q8_0. Учтите, что большой контекст заметно повышает требования к памяти и может замедлить ответ на CPU.
Попробуйте следующие параметры:
num_ctx — установить до 32k;OLLAMA_FLASH_ATTENTION=1 — включить Flash Attention;OLLAMA_KV_CACHE_TYPE=q8_0 — задать тип KV-кэша q8_0.Увеличение размера контекста примерно вдвое сокращает доступную для модели память. Поэтому перед запуском 14B-модели с контекстом 32k нужно учитывать общий запас памяти системы.
Важно: при недостатке памяти увеличение num_ctx может не оставить достаточно ресурсов для самой модели.
На CPU обработка длинного промпта может стать узким местом. До появления первого токена агент иногда работает несколько минут.
Статья собрана по сообщениям за сентябрь 2026 года.