Вопрос или проблема
Поддерживает ли обработка Batch в Azure OpenAI “Структурированный вывод”?
С параметром response_format="json_schema" (и корректной схемой) он возвращает мне пустые файлы.
Без структурированного вывода всё работает нормально.
Я попробовал это с запросом, который корректно работал с OpenAI Batch Structured output в конце этого обсуждения, и на Azure он возвращает пустой файл.
Так что, означает ли это, что эта функция пока не поддерживается в Azure? Или это какая-то ошибка с моей стороны/с Azure?
Запрос, который работал с OpenAI и возвращает пустой файл на Azure:
{"custom_id": "request-1", "method": "POST", "url": "/chat/completions", "body": {"model": "gpt-4o-batch", "messages": [{"role": "system", "content": "Вы - полезный математический репетитор. Проведите пользователя через решение шаг за шагом."}, {"role": "user", "content": "как я могу решить 8x + 7 = -23"}], "max_tokens": 4096, "response_format": {"type": "json_schema", "json_schema": {"name": "math_response", "schema": {"type": "object", "properties": {"steps": {"type": "array", "items": {"type": "object", "properties": {"explanation": {"type": "string"}, "output": {"type": "string"}}, "required": ["explanation", "output"], "additionalProperties": false}}, "final_answer": {"type": "string"}}, "required": ["steps", "final_answer"], "additionalProperties": false}, "strict": true}}}}
Тот же запрос без response_format или с форматом ‘json_object’ работает нормально.
Я использую развертывание в регионе Центральная Швеция, если это имеет значение.
Azure OpenAI может не полностью поддерживать структурированный вывод с response_format="json_schema", как это делает API OpenAI. Получение пустых ответов, вероятно, указывает на ограничение или ошибку в реализации Azure.
Рекомендации:
Проверьте свою схему: Убедитесь, что ваша JSON-схема корректна.
Упрощайте тесты: Попробуйте использовать более простые схемы, чтобы посмотреть, дают ли они вывод.
Проверьте документацию: Ознакомьтесь с документацией Azure OpenAI на предмет замечаний о response_format.
Свяжитесь с поддержкой: Если проблемы сохраняются, обратитесь в службу поддержки Azure за разъяснениями по этой функции.
В целом, кажется, что структурированный вывод может иметь ограничения в Azure OpenAI.
Ответ или решение
Отвечая на ваш вопрос о поддержке пакетной обработки Azure OpenAI с "структурированным выводом", следует отметить, что в настоящее время Azure OpenAI не полностью поддерживает данную функцию так, как это реализовано в API OpenAI. Судя по вашему описанию, проблема с получением пустых ответов при использовании response_format="json_schema" может указывать на ограничение или баг в реализации данной функции в Azure.
Вот несколько шагов, которые вы можете предпринять, чтобы устранить проблему:
-
Проверка вашей схемы: Убедитесь, что ваш JSON-схема является корректной. Ошибки в структуре схемы могут приводить к отсутствию вывода.
-
Упрощение тестов: Попробуйте использовать более простые схемы, чтобы проверить, приводит ли это к получению каких-либо ответов. Это поможет установить, является ли проблема специфичной для вашей схемы.
-
Проверка документации: Ознакомьтесь с документацией Azure OpenAI на предмет любых примечаний относительно поддержки
response_format. Это может дать вам лучшее представление о текущих возможностях и ограничениях. -
Обращение в службу поддержки: Если проблема не решится, рекомендуем обратиться в службу поддержки Azure с просьбой прояснить, поддерживается ли функциональность структурированного вывода в вашей версии API. Возможно, это известная проблема, и они смогут предоставить обновления относительно её решения или предложить обходные пути.
В общем, ваше наблюдение о том, что структурированный вывод может иметь ограничения в Azure OpenAI, похоже, верно. Не стесняйтесь проводить дальнейшие тесты и делиться своими результатами, это поможет вам лучше понять, как работает система и какие функции доступны.