Оценка запуска Qwen3.6-27B в FP16 на RTX 5090 и вариант с почасовыми GPU-инстансами при переменной нагрузке.
Собрано в Sveska из открытых обсуждений сообщества. Авторы сообщений не указываются.
Обновлено
Qwen3.6-27B в формате FP16, по оценке из сообщений, может запускаться на RTX 5090, но ей может потребоваться около 54 ГБ видеопамяти. Для запуска через Ninfer предположительно подойдёт бэкенд, оптимизированный под llama.cpp.
По оценке на сентябрь 2026 года, Qwen3.6-27B в FP16 может занимать около 54 ГБ VRAM. Возможность нормального запуска на RTX 5090 обозначена как предположение, а не как подтверждённый результат теста.
Предположительно, Ninfer должен работать через бэкенд, оптимизированный под llama.cpp. Конкретные шаги настройки, версии программ и параметры запуска в имеющихся данных не указаны.
Вместо покупки и обслуживания собственного оборудования для переменной нагрузки предлагалось использовать почасовые GPU-инстансы в облаке. В Regcloud доступны инстансы с A100 и H100.
Важно: сведения о запуске на RTX 5090 и работе Ninfer сформулированы как оценка и предположение; перед развёртыванием их стоит проверять на фактической конфигурации.
Статья собрана по сообщениям за сентябрь 2026 года.