Компания Microsoft представила на ежегодной конференции Microsoft Build 2024 малую языковую модель (SLM) Phi-3-Silica, которая будет использоваться на компьютерах класса Copilot Plus PC. Эти ПК оснащены чипами со встроенным нейронным сопроцессором (NPU), обеспечивающим локальную работу функций на основе ИИ.

Это самая маленькая из всех моделей семейства Phi-3, обладающая 3,3 млрд параметров. Семейство Phi-3 также включает модель Phi-3-mini с 3,8 млрд параметров, Phi-3-vision (4,2 млрд параметров), Phi-3-small (7 млрд параметров) и Phi-3-medium (14 млрд параметров).

Ожидается, что первые ноутбуки под брендом Copilot Plus PC со встроенной Phi-3-Silica поступят в продажу в июне этого года. По данным Microsoft, показатель Time to first token (TTFT) у Phi-3-Silica составляет 650 токенов в секунду, а при работе модель потребляет около 1,5 Вт, освобождая мощности процессора и графического ускорителя ПК для обработки других вычислений. При генерации токенов модель повторно использует кеш-память KV NPU, сама генерация осуществляется на ЦП со скоростью примерно 27 токенов в секунду.