Модель Qwen3.8-Flash-Next на 125 миллиардов параметров запущена на ноутбуке

Разработчик Карлос Галарса создал инструмент slotstream, позволивший запустить языковую модель Qwen3.8-Flash-Next объемом 125 миллиардов параметров на MacBook с 40 восемью гигабайтами оперативной памяти. За счет использования Mixture of Experts и чтения необходимых частей с SSD скорость генерации достигла 12 токенов в секунду при минимальном потреблении памяти. Новый метод открывает возможности для локального использования тяжелых нейросетей на потребительском «железе».

Тексты и озвучка в Пегрегаторе создаются автоматически: нейросеть кратко пересказывает публичные материалы Telegram-каналов. Это не оригинальные публикации и не работа редакции — смысл может быть упрощён, а детали потеряны. Перед принятием решений открывайте первоисточник: ссылки на каналы есть у каждого материала.