Microsoft представила новую функцию Content Safety для Azure, которая призвана повысить безопасность генеративного искусственного интеллекта. Эта функция автоматически выявляет и исправляет ошибки в ответах ИИ-моделей, предотвращая сбои в их работе.

Content Safety доступна в предварительной версии в Azure AI Studio, наборе инструментов для обеспечения безопасности ИИ. Эта функция предназначена для выявления уязвимостей, поиска «галлюцинаций» в ответах ИИ, а также блокировки недопустимых запросов пользователей. Content Safety сканирует ответы ИИ, сравнивая их с исходными материалами клиента, чтобы выявить неточности.

При обнаружении ошибки система выделяет ее, объясняет причину неверности и переписывает проблемный текст, делая это до того, как пользователь увидит ошибку. Важно отметить, что функция не гарантирует стопроцентную надежность. Google также предлагает аналогичную функцию «заземления» моделей ИИ на своей платформе Vertex AI. Она проверяет ответы ИИ с помощью поисковой системы Google, данных компании и, в перспективе, сторонних наборов данных.