В Microsoft разработали сверхэффективную ИИ-модель, которая запускается на CPU

Microsoft представила BitNet b1.58 2B4T — самую большую на сегодняшний день однобитную модель ИИ. Эта модель с открытым кодом (лицензия MIT) работает даже на процессорах уровня Apple M2, благодаря архитектуре «битнет», оптимизированной для маломощного оборудования.

В основе «битнет» лежит квантование весов модели до трёх значений (-1, 0, 1), что значительно снижает потребление памяти и вычислительных ресурсов. BitNet b1.58 2B4T содержит 2 миллиарда параметров, обучена на 4 триллионах токенов (примерно 33 миллиона книг) и демонстрирует производительность, сравнимую с моделями аналогичного размера от Meta (Llama 3.2 1B), Google (Gemma 3 1B) и Alibaba (Qwen 2.5 1.5B), превосходя их в тестах GSM8K и PIQA.

В некоторых случаях она работает вдвое быстрее и потребляет меньше памяти. Однако для достижения максимальной производительности требуется разработанный Microsoft фреймворк bitnet.cpp, совместимый пока лишь с ограниченным набором оборудования и не поддерживающий графические процессоры. Хотя архитектура «битнет» демонстрирует большой потенциал, ограниченная аппаратная совместимость сдерживает её широкое применение.

 

Читайте новости первыми в нашем Telegram-канале!

Подписывайтесь на наш канал в Дзен!

Версия для печатиВерсия для печати

Регион: 

Рубрики: 

Заметили ошибку? Выделите ее мышкой и нажмите Ctrl+Enter!