最佳实践

让接入稳定、省钱、可维护的经验清单。

提示词工程

• 把角色与规则放 system，把具体任务放 user。
• 要求结构化时给出明确 schema 或示例。
• 长任务拆分步骤，逐步校验，比一次塞入更可靠。
• 用 few-shot 示例稳定格式，但注意占用的 token。

性能与成本

• 首字延迟敏感 → 用 stream=true。
• 短任务用轻量模型，重任务用强模型，按需路由。
• 设 max_tokens 上限，避免失控长输出。
• 并发适中，配合重试与超时，避免雪崩。

可靠性

• 关键路径配置备用模型与降级策略。
• 对 429/5xx 做指数退避；不要无脑立即重试。
• 记录 x-oneapi-request-id，便于与管理员对账排障。

安全

• 一应用一令牌；后端调用；密钥走环境变量。
• 令牌限 IP、设额度与有效期。
• 日志脱敏，不要把完整 prompt/密钥写入明文日志。

可观测性

• 埋点记录：模型、token 用量、延迟、错误率。
• 对错误率与额度消耗设告警阈值。
• 定期用控制台日志核对账单与异常。