OpenAI推出API中的结构化输出功能：开发者可定义JSON Schemas

8月7日消息，OpenAI公司在2024年8月6日宣布了其API中的一个突破性新功能——结构化输出（Structured Outputs）。这项新功能确保了模型生成的输出将严格遵循开发者提供的JSON Schemas，从而显著提高了AI生成数据的可靠性和实用性。

结构化输出的引入

去年，OpenAI在DevDay上推出了JSON模式，这是一个为开发者构建可靠应用程序的有用工具。尽管JSON模式提高了模型生成有效JSON输出的可靠性，但它并不能保证模型的响应会符合特定的模式。结构化输出的推出正是为了解决这一问题，通过约束OpenAI模型以匹配开发者提供的模式，并训练模型更好地理解复杂的模式。

功能亮点

• 精确匹配JSON Schemas：开发者现在可以确信，AI模型生成的输出将完全符合他们提供的JSON Schemas。

• 提高模型理解能力：OpenAI的新模型gpt-4o-2024-08-06在复杂JSON模式遵循方面，在评估中达到了完美的100%准确率，相较于gpt-4-0613的不到40%，这是一个巨大的提升。

• 两种形式的API集成：结构化输出可以通过函数调用和新的response_format参数选项来实现。

使用方法

1. 函数调用：通过在函数定义中设置strict: true，可以在使用支持工具的所有模型中启用结构化输出。

2. 响应格式参数：开发者现在可以通过response_format参数的json_schema选项提供JSON Schema，这在模型不是调用工具而是以结构化方式响应用户时非常有用。

安全性和SDK支持

OpenAI始终将安全性放在首位，新的结构化输出功能将遵守现有的安全政策，并允许模型拒绝不安全的请求。此外，OpenAI的Python和Node SDK已经更新，以原生支持结构化输出，使得为工具或响应格式提供模式变得非常容易。

应用案例

结构化输出为开发者提供了多种用例，包括动态生成用户界面、从用户意图中分离最终答案与支持推理或附加评论，以及从未结构化数据中提取结构化数据。

技术实现

OpenAI采用了一种称为受限采样或受限解码的技术，通过将JSON Schema转换为上下文无关文法（CFG），动态确定每个令牌生成后哪些令牌是有效的，并据此进行下一步的模型采样。

限制和注意事项

尽管结构化输出带来了许多优势，但也存在一些限制，例如仅支持JSON Schema的子集、首次使用新模式时可能会增加延迟等。开发者在使用时应考虑这些限制，并参考OpenAI的文档以获取更多详细信息。

结语

结构化输出的推出，标志着OpenAI在提供可靠和精确AI输出方面迈出了重要一步。这一新功能将极大地简化开发过程，提高应用程序的质量和效率。随着AI技术的不断进步，我们期待OpenAI继续引领行业创新，为开发者和用户提供更多强大的工具。