OpenAI News·· 2024-10-01AI 评分48
OpenAI API 推出提示词缓存功能
Prompt Caching in the API
AI 导读
OpenAI 在 API 中引入 Prompt Caching(提示词缓存)功能,对模型近期已处理过的输入自动提供折扣。该机制旨在通过复用上下文降低推理成本,提升高频交互场景下的使用效率。
原文
Offering automatic discounts on inputs that the model has recently seen
来源:OpenAI News · openai.com