Практики работы с длинными ответами

​

Три вещи, которые нужно знать в первую очередь

1. Для вывода на 10 тыс. слов нормальна реальная генерация в течение 10–20 минут. Модель последовательно генерирует десятки тысяч символов token за token, а также проходит этап рассуждения/обдумывания — общая задержка действительно велика. Дело не в медленной работе шлюза; сама генерация занимает много времени.
2. Без потоковой передачи весь результат буферизуется перед отправкой. При отсутствии потоковой передачи (stream опущен или false) сервер должен дождаться, пока модель завершит всю генерацию, и только затем отправить весь body одним ответом. В течение этих минут тайм-аут чтения вашего клиента конкурирует с этим ожиданием, и чем дольше генерация, тем выше вероятность отключения до получения результата — при этом исключение часто оказывается пустым (httpx.ReadError’s str(e) пуст), поэтому вы не сможете увидеть причину.
3. За разорванное соединение всё равно взимается плата, поэтому повторные попытки вслепую приводят к двойной тарификации. После того как сервер сгенерировал вывод, вызов тарифицируется, даже если результат до вас не дошёл. Повторная попытка после того, как вы уже получили часть body, означает, что модель запустится снова и вы заплатите повторно.

​

Используйте потоковую передачу, не используйте непотоковый режим

import json
import httpx

def generate_long_text(prompt, api_key, model="claude-opus-5", max_tokens=64000):
    url = "https://api.apiyi.com/v1/messages"
    headers = {
        "x-api-key": api_key,
        "anthropic-version": "2023-06-01",
        "content-type": "application/json",
        "accept": "text/event-stream",
    }
    payload = {
        "model": model,
        "max_tokens": max_tokens,
        "stream": True,                        # key: long output must stream
        "thinking": {"type": "adaptive"},      # adaptive thinking; the model decides depth
        "messages": [{"role": "user", "content": prompt}],
    }
    # Three-part timeout: read only covers the inter-event gap, not the whole generation
    timeout = httpx.Timeout(connect=30, write=120, read=120, pool=30)

    text, stop_reason = [], None
    with httpx.Client(timeout=timeout) as c:
        with c.stream("POST", url, json=payload, headers=headers) as r:
            if r.status_code != 200:
                raise RuntimeError(f"HTTP {r.status_code}: {r.read()[:400]}")
            event, data = None, []
            for line in r.iter_lines():
                if line == "":                 # events are separated by a blank line
                    if data:
                        d = json.loads("\n".join(data))
                        t = d.get("type") or event
                        if t == "content_block_delta" and d.get("delta", {}).get("type") == "text_delta":
                            text.append(d["delta"]["text"])
                        elif t == "message_delta":
                            stop_reason = d.get("delta", {}).get("stop_reason") or stop_reason
                    event, data = None, []
                    continue
                if line.startswith("event:"):
                    event = line[6:].strip()
                elif line.startswith("data:"):
                    data.append(line[5:].strip())
    # A Claude stream ends on message_stop, never [DONE]
    if stop_reason == "max_tokens":
        raise RuntimeError(f"truncated by max_tokens after {len(''.join(text))} chars; raise max_tokens and retry")
    return "".join(text).strip()

​

Настройте тайм-аут чтения по межсобытийному интервалу, а не по общему времени

# connect: establish; write: upload the request body; read: max gap between reads
timeout = httpx.Timeout(connect=30, write=120, read=120, pool=30)

​

Оставьте место для max_tokens и проверяйте stop_reason

• Установите max_tokens на 64000 (при высоком уровне усилий или глубоком рассуждении задавайте ещё больше; claude-opus-5 поддерживает вывод размером до 128K).
• Проверяйте stop_reason перед использованием ответа:
  • end_turn — завершено штатно, текст полный; это единственный успешный результат.
  • max_tokens — усечено, текст может быть неполным или даже пустым. Это усечение, а не «пустой результат» — увеличьте max_tokens и повторите запрос.
  • refusal — запрос отклонён политикой безопасности; обработайте этот случай отдельно.

​

Стратегия повторных попыток

• Повторяйте запрос только при сбоях до получения заголовков ответа и при 5xx / 429 (с экспоненциальной задержкой, не более двух раз). Это проблемы с подключением или временные сбои, при которых повторная попытка имеет смысл.
• Не повторяйте бездумно потоковую передачу, прервавшуюся после получения части тела ответа. Сервер уже сгенерировал и тарифицировал ответ; повторная попытка запускает операцию заново и приводит к повторной оплате.
• Для сверки и устранения неполадок записывайте идентификатор запроса из заголовков ответа.

​

Краткая памятка по сценариям

​

Связанные материалы