Microsoft пополнила семейство больших языковых моделей искусственного интеллекта Phi-4 двумя новыми разработками, отличающимися относительно невысокими системными требованиями. Одной из ключевых особенностей является мультимодальность одной из моделей, позволяющая ей обрабатывать данные в различных форматах.

Microsoft представляет Phi-4-mini, модель, работающую исключительно с текстом, и Phi-4-multimodal – её расширенную версию, способную также обрабатывать визуальные и звуковые данные. Обе модели, как заявляет разработчик, демонстрируют значительное превосходство над аналогичными решениями в выполнении ряда специфических задач.

Microsoft Phi-4-mini, обладая 3,8 миллиарда параметров, отличается компактным размером, что позволяет запускать её даже на мобильных устройствах. В основе этой модели лежит специально адаптированная версия архитектуры «Трансформер». В отличие от стандартных моделей-трансформеров, анализирующих контекст слова как до, так и после него, Phi-4-mini использует версию Decoder-Only Transformer, которая анализирует только предшествующий текст. Это значительно снижает нагрузку на вычислительные ресурсы и повышает скорость обработки данных.