Запуск полноразмерной модели Qwen на домашней видеокарте

Разработчики смогли запустить полноразмерную языковую модель Qwen3.8-Flash-Next на обычной видеокарте Nvidia RTX 4090 с пиковым потреблением видеопамяти 5 целых 95 сотых гигабайта. При этом использовался полный чекпоинт без квантизации и дистилляции, сохранивший контекст на 262 тысячи токенов. Достижение показало, что видеопамять перестает быть главным узким местом при запуске тяжелых нейросетей.

Тексты и озвучка в Пегрегаторе создаются автоматически: нейросеть кратко пересказывает публичные материалы Telegram-каналов. Это не оригинальные публикации и не работа редакции — смысл может быть упрощён, а детали потеряны. Перед принятием решений открывайте первоисточник: ссылки на каналы есть у каждого материала.