Компания Anthropic представила версию 3.5 своей модели Claude Sonnet, способную взаимодействовать с любым настольным приложением через API Computer Use. Она может имитировать нажатия клавиш, щелчки и жесты мыши, полностью воспроизводя поведение человека.

«Мы обучили Claude видеть, что происходит на экране, а затем использовать доступные программные инструменты для выполнения задач, — сообщает Anthropic. — Когда разработчик поручает Claude использовать часть компьютерного программного обеспечения и даёт ему необходимый доступ, Claude смотрит на скриншоты того, что видит пользователь, затем подсчитывает, на сколько пикселей по вертикали или горизонтали ему нужно переместить курсор, чтобы щёлкнуть в нужном месте».

Инструмент, известный как «агент ИИ», который способен автоматизировать задачи на компьютере, не является чем-то новым. Хотя термин «агент ИИ» пока не имеет четкого определения, он, как правило, относится к искусственному интеллекту, способному упрощать взаимодействие с программным обеспечением на ПК. В настоящее время множество компаний, таких как Microsoft, Salesforce и OpenAI, а также новички на рынке, такие как Relay, Induced AI и Automat, предлагают аналогичные решения.

Anthropic представляет свою концепцию агента ИИ под названием «слой действия-исполнения», который обеспечивает выполнение команд на рабочем столе. С помощью функции просмотра веб-страниц Claude 3.5 Sonnet способен взаимодействовать с любыми сайтами и приложениями в своей работе.

В чём заключается уникальность Claude 3.5 Sonnet по сравнению с другими ИИ-агентами? Компания Anthropic утверждает, что данная модель представляет собой более мощный и надёжный инструмент, который демонстрирует превосходные результаты в кодировании, даже превышая флагманский o1 от OpenAI по результатам SWE-bench Verified. Claude способна самостоятельно выявлять и корректировать ошибки, а также повторять задачи при возникновении препятствий, что позволяет ей справляться с комплексными целями, требующими многоступенчатого подхода.

Тем не менее, Anthropic также отмечает, что новая модель испытывает трудности с выполнением базовых операций, таких как прокрутка и масштабирование. Кроме того, Claude может упустить кратковременные события и уведомления из-за особенностей своего метода обработки информации. Например, во время теста на бронирование авиабилетов модель смогла успешно выполнить меньше половины поставленных задач, а в случае возврата билетов не справилась примерно с одной третью из них.

Вместе с релизом модели Claude 3.5 Sonnet, компания Anthropic объявила о скором запуске обновленной версии Claude 3.5 Haiku.