![](https://www.kv.by/sites/default/files/styles/post_picture/public/pictures/mainimage/2024/08/ai.jpg?itok=jkdPu2hP)
Компании Alibaba представила мультимодальную модель машинного обучения mPLUG-Owl3, предназначенную для анализа текста, изображений и видео. Основной упор разработчики сделали на скорость работы нейросети: так, на обработку двухчасового видео уйдет всего 4 секунды.
В основе mPLUG-Owl3 лежит доработанная и оптимизированная модель Qwen2. Благодаря этому в 6 раз сократилось время ожидания первого токена, а на одной видеокарте A100 можно обрабатывать до 400 изображений в секунду. Также в модели используется специальный блок HATB (Hyper Attention Transformer Block), который интегрирует визуальные и текстовые признаки, позволяя искать визуальные образы на основе текстовых запросов.
Код проекта открыт и опубликован на GitHub. Также разработчики поделились необходимыми материалами для работы на платформах Hugging Face и его китайском аналоге Model Scope.
![Версия для печати Версия для печати](https://www.kv.by/sites/all/modules/print/icons/print_icon.png)
Горячие темы