跳到正文
原文
OpenAI News·· 2024-10-01AI 评分48

OpenAI API 推出提示词缓存功能

Prompt Caching in the API

AI 导读

OpenAI 在 API 中引入 Prompt Caching(提示词缓存)功能,对模型近期已处理过的输入自动提供折扣。该机制旨在通过复用上下文降低推理成本,提升高频交互场景下的使用效率。

原文

Offering automatic discounts on inputs that the model has recently seen

来源:OpenAI News · openai.com