OpenAI объявила о выпуске новых версий GPT-3.5-turbo и GPT-4, последняя из которых является ИИ для генерации текста с возможностью, называемой вызовом функции. Как объясняет OpenAI в своем блоге, вызов функций позволяет разработчикам описывать функции программирования для GPT-3.5-turbo и GPT-4, а модели создают код для выполнения этих функций.

Например, вызов функций может помочь в создании чат-ботов, которые отвечают на вопросы, вызывая внешние инструменты, преобразовывают естественный язык в запросы к базе данных и извлекают структурированные данные из текста. «Эти модели были точно настроены как для определения необходимости вызова функции… так и для ответа с помощью JSON, который соответствует сигнатуре функции», — пишет OpenAI. «Вызов функции позволяет разработчикам более надежно получать структурированные данные из модели».

Помимо вызова функций, OpenAI представляет разновидность GPT-3.5-turbo со значительно расширенным контекстным окном. Контекстное окно, измеряемое в токенах или необработанных битах текста, относится к тексту, который модель рассматривает перед созданием любого дополнительного текста. Модели с небольшими окнами контекста, как правило, «забывают» содержание даже самых недавних разговоров, что приводит к тому, что они отклоняются от темы — часто проблематичным образом.

Новый GPT-3.5-turbo предлагает в четыре раза большую длину контекста (16 000 токенов) по сравнению с ванильным GPT-3.5-turbo по вдвое большей цене — 0,003 доллара США за 1000 входных токенов (т. токены, которые генерирует модель). OpenAI говорит, что он может обрабатывать около 20 страниц текста за один раз — за исключением сотен страниц, которые может обрабатывать флагманская модель стартапа AI Anthropic. (OpenAI тестирует версию GPT-4 с контекстным окном на 32 000 токенов, но только в ограниченном выпуске.)

OpenAI говорит, что снижает цены на GPT-3.5-turbo — оригинальную, а на версию с расширенным контекстным окном — на 25%. Теперь разработчики могут использовать эту модель по цене 0,0015 доллара США за 1000 токенов ввода и 0,002 доллара США за 1000 токенов вывода, что соответствует примерно 700 страницам за доллар.