Разработчик создал ультракомпактную тернарную языковую модель на языке C#

Энтузиаст разработал полноценную языковую модель на языке Си-шарп, которая весит всего 17 килобайт благодаря использованию тернарных весов со значениями минус 1, 0 и 1. Проект основан на архитектуре Лама и включает в себя токенизатор и механизм внимания. Существуют версии разного размера, включая более крупный вариант на 29 килобайт и сверхмалую версию с числом параметров менее 50000.

Тексты и озвучка в Пегрегаторе создаются автоматически: нейросеть кратко пересказывает публичные материалы Telegram-каналов. Это не оригинальные публикации и не работа редакции — смысл может быть упрощён, а детали потеряны. Перед принятием решений открывайте первоисточник: ссылки на каналы есть у каждого материала.