Для локальных LLM-агентов по сообщениям за сентябрь 2026 рекомендуют RTX 3090. У неё столько же видеопамяти, сколько у Tesla P40 — 24 ГБ, но заметно выше скорость и лучше перспективы совместимости с ПО.
| Характеристика | RTX 3090 | Tesla P40 |
|---|
| Видеопамять | 24 ГБ | 24 ГБ |
| Пропускная способность памяти | около 900 ГБ/с | около 400 ГБ/с |
| Тензорные ядра | есть | нет |
| FP16 | сильнее | слабее |
| CUDA 13 | поддерживается | не поддерживается |
Из-за отсутствия поддержки CUDA 13 у P40 совместимость с локальным ПО для LLM, по оценке из обсуждения, будет постепенно ухудшаться.
Tesla P40 имеет смысл только при жёстком ограничении бюджета, если важнее получить 24 ГБ видеопамяти, чем высокую скорость работы.
Важно: для Tesla P40 потребуется заранее продуманное охлаждение.
На момент обсуждения, в сентябре 2026 года, подержанная RTX 3090 стоила около 1350 долларов — почти вдвое дороже, чем годом ранее. Покупку рассматривали как вариант для приватности и фоновых задач.
Для «умного» агента один из ответов оценивал облачный сервис как более дешёвый и лучший вариант.
Приводились такие ориентиры для моделей Llama в Q4:
- 7B — около 95 токенов в секунду;
- 13B — около 55 токенов в секунду;
- 34B — около 28 токенов в секунду.
Модель 70B целиком не помещается в 24 ГБ видеопамяти. Перенос части модели в оперативную память сильно замедляет работу.
RTX 3090 — предпочтительный выбор для локальных LLM, если бюджет позволяет: она быстрее Tesla P40 и лучше подходит с точки зрения дальнейшей совместимости. Tesla P40 остаётся бюджетным компромиссом ради 24 ГБ памяти, но с низкой скоростью, ограничениями ПО и требованиями к охлаждению.
Статья собрана по сообщениям за сентябрь 2026 года.