Всего два месяца спустя после выпуска большой языковой модели Llama 3.1, Meta представила её обновленную версию - Llama 3.2. Это первая открытая система искусственного интеллекта, способная обрабатывать как изображения, так и текст.

Meta Llama 3.2 открывает разработчикам новые возможности для создания передовых ИИ-приложений. Теперь они могут создавать платформы дополненной реальности с распознаванием видео в реальном времени, визуальные поисковые системы с сортировкой изображений по содержанию, а также системы анализа документов с генерацией сводок длинных текстов. По словам Meta, запустить новую модель довольно просто: достаточно добавить поддержку мультимодальности, то есть возможность показывать Llama изображения и взаимодействовать с ней, используя и текст, и изображения.

OpenAI и Google уже представили свои мультимодальные модели ИИ в прошлом году, поэтому Meta сейчас стремится догнать конкурентов. Поддержка работы с изображениями важна для Meta, поскольку компания продолжает развивать возможности ИИ на своих устройствах, в том числе на очках Ray-Ban Meta. Пакет Llama 3.2 включает две модели, работающие с изображениями (с 11 и 90 млрд параметров), и две облегченные текстовые модели (с 1 и 3 млрд параметров). Меньшие модели предназначены для работы на чипах Qualcomm, MediaTek и других процессорах ARM, что говорит о том, что Meta видит их применение на мобильных устройствах. Важно отметить, что выпущенная в июле Llama 3.1 по-прежнему остается сильным предложением, особенно версия с 405 млрд параметров, которая превосходит новые модели в генерации текста.