LLM 流式输出

​

概念定义

​

详细解释

• 服务器发送事件（SSE）：单向推送，简单高效，成为主流选择
• WebSocket：双向通信，适用于复杂交互场景
• HTTP流：基于标准HTTP协议的分块传输

​

工作原理

​

LLM流式输出工作流程

用户请求 → LLM模型 → 令牌生成 → 数据分块 → 实时传输 → 客户端渲染
    ↓         ↓        ↓        ↓        ↓         ↓
 [问题输入] [推理计算] [逐个生成] [批量打包] [SSE/WS] [增量显示]

1. 🔄 令牌生成 - LLM逐个生成文本令牌
2. 📦 批量处理 - 将多个令牌打包成数据块
3. 📡 实时传输 - 通过SSE或WebSocket推送到客户端
4. 🖥️ 增量渲染 - 客户端接收并渐进式显示内容

​

核心流程

​

技术实现要点

• 缓冲管理：动态分配内存，按需扩展
• 错误处理：支持断点续传和优雅降级
• 格式标准：NDJSON成为结构化输出的首选格式

​

实际应用

​

主要应用场景

1. 对话式AI助手：ChatGPT、Claude等实时生成回复
2. 代码生成工具：GitHub Copilot逐行输出代码
3. 内容创作平台：实时展示AI生成的文章或脚本
4. 数据分析报告：渐进式呈现复杂分析结果

​

性能优化策略

• 连续批处理：使用vLLM等框架提升23倍吞吐量
• 硬件加速：专用推理芯片达到300+ tokens/秒
• 令牌压缩：减少20-40%的生成时间

​

实现示例（2025年Claude API）

# 使用SSE流式输出
with client.messages.stream(
    model="claude-opus-4-20250514",
    messages=[{"role": "user", "content": "解释量子计算"}],
    stream=True
) as stream:
    for text in stream.text_stream:
        print(text, end="", flush=True)

​

相关概念

• 服务器发送事件（SSE）
• WebSocket协议
• API设计最佳实践
• 实时通信技术
• 令牌化（Tokenization）

​

延伸阅读

• Anthropic流式API文档
• OpenAI流式响应指南
• LangChain流式处理概念
• NVIDIA LLM推理优化技术
• vLLM高性能推理框架