LLM错误处理

​

概念定义

​

详细解释

​

工作原理

​

错误类型与代码

​

LLM错误类型分类

​

1. 速率限制错误

• 429 Too Many Requests：超过API调用频率限制
• 令牌限制错误：输入或输出超过模型上下文窗口

​

2. 认证与授权错误

• 401 Unauthorized：无效的API密钥
• 403 Forbidden：权限不足

​

3. 服务器错误

• 500 Internal Server Error：AI提供商服务器问题
• 502 Bad Gateway：网关错误
• 503 Service Unavailable：服务暂时不可用
• 504 Gateway Timeout：网关超时

​

4. 内容安全错误

• 内容策略违规：请求或响应违反安全策略
• 输出安全错误：生成内容被安全系统标记

​

5. 2025新增错误类型

• 多模态处理错误：图像、音频或视频处理失败
• 函数调用错误：工具使用或函数执行失败
• 流式传输错误：实时响应期间连接中断

​

重试策略与指数退避

​

核心实现原理

# 推荐的生产环境配置
retry_config = {
    "max_retries": 3,              # 最大重试次数
    "base_delay": 1.0,              # 基础延迟（秒）
    "max_delay": 60.0,              # 最大延迟（秒）
    "timeout": 30.0,                # 请求超时（秒）
    "multiplier": 2,                # 退避倍数
    "jitter_range": (0.1, 0.3),     # 抖动范围
    "retryable_status_codes": {408, 429, 500, 502, 503, 504}
}

​

指数退避算法

1. 初始延迟：base_delay秒
2. 每次重试延迟：min(base_delay * (multiplier ^ attempt), max_delay)
3. 添加随机抖动：delay * random(jitter_range)

​

熔断器模式

1. 关闭状态（Closed）：正常运行，请求正常流转
2. 开启状态（Open）：立即拒绝请求，触发降级机制
3. 半开状态（Half-Open）：允许少量请求通过，测试服务恢复情况

​

熔断器配置

• 失败阈值：5次连续失败
• 超时期：60秒
• 半开测试请求数：3个

​

优雅降级策略

​

1. 缓存响应

• 对成功的LLM响应进行智能缓存
• 在服务不可用时提供缓存数据

​

2. 备用模型

fallback_models = [
    "claude-3-opus",      # 主模型
    "claude-3-sonnet",    # 备用模型1
    "gpt-4-turbo",        # 备用模型2
    "local-llm"           # 本地模型兜底
]

​

3. 功能降级

• 提供简化功能而非完全失败
• 显示静态内容或默认响应
• 切换到基于规则的处理逻辑

​

实际应用

​

生产环境监控与告警

​

1. 实时监控指标

• 响应时间、延迟和吞吐量
• 错误率和错误类型分布
• 令牌使用量和成本
• 重试成功率

​

2. 告警配置

• API限流事件实时告警
• 异常检测：性能漂移、行为异常
• 成本超支预警

​

3. 可观测性工具

• Datadog LLM Observability
• Coralogix AI Observability
• OpenTelemetry with Grafana
• 自定义Prometheus + Jaeger解决方案

​

错误处理最佳实践

​

1. 条件重试

• 仅对特定错误代码重试
• 内容策略违规：最多重试3次
• 认证错误：不重试，立即失败

​

2. 速率限制管理

• 使用Redis跟踪冷却服务器
• 在调用前检查模型限流状态
• 批处理时计算并遵守速率限制

​

3. 负载均衡

• 跨多个提供商部署进行负载均衡
• 区域故障时切换到其他区域

​

安全与合规监控

​

1. 内容安全

• 检测提示注入攻击
• 识别幻觉和有害内容
• 自动标记可疑请求

​

2. 数据保护

• PII、邮箱、IP地址泄露防护
• 内置安全和隐私扫描器
• 响应操纵攻击防护

​

相关概念

• API限流：了解如何处理和避免触发限流
• LLM监控：深入了解可观测性实践
• 负载均衡：多提供商部署策略
• 容错设计：构建弹性系统架构

​

延伸阅读

• OpenAI错误处理指南
• Anthropic API错误参考
• AWS Well-Architected可靠性支柱
• Google SRE手册：错误处理