Руководство по тарификации кэширования Grok

​

В одном предложении

• vs Claude: никаких маркеров cache_control — это просто происходит, когда условия выполнены
• vs OpenAI: столь же автоматически и столь же свободно в использовании, но Grok не дает вам управления маршрутизацией в стиле prompt_cache_key

​

Зачем это нужно — посмотрите на коэффициенты

​

Хорошо подходит

• Один длинный system prompt плюс определения tools, вызываемые снова и снова (agents, support bots)
• Пакетная обработка одного документа (50 вопросов к одному контракту)
• RAG, где стабильные фрагменты документа находятся в начале prompt
• Многоходовые диалоги — но учтите, что в Grok два способа сделать это ведут себя очень по-разному (см. ниже)

​

Плохо подходит

• Запросы, которые каждый раз отличаются уже с самого первого символа
• prompts ниже диапазона в тысячу tokens — в тестировании многократный вызов такого запроса так и не сформировал повторно используемый кэш

​

Оба эндпоинта, с потоковой передачей и без неё, всё сверено

​

Условия для попадания

​

Попадания округляются вниз до 128 tokens

cached_tokens = floor(matched prefix length / 128) * 128

​

Только добавление: изменение истории ломает это

# WRONG: dynamic content at the start of system, so the prefix changes every time and never hits
messages = [
    {"role": "system", "content": f"Current time {datetime.now()}. You are an assistant." + LONG_INSTRUCTIONS},
    {"role": "user", "content": question},
]

# RIGHT: long instructions and tool definitions stay stable up front, dynamic content goes in the user message
messages = [
    {"role": "system", "content": LONG_INSTRUCTIONS},          # stable, will hit
    {"role": "user", "content": f"Current time {datetime.now()}. {question}"},  # volatile, goes last
]

​

Минимальный запускаемый пример

import os
from openai import OpenAI

client = OpenAI(
    api_key=os.environ["APIYI_API_KEY"],
    base_url="https://api.apiyi.com/v1"
)

# The prefix has to be long enough: below the thousand-token range you get essentially nothing
LONG_SYSTEM = open("long_instructions.txt").read()


def ask(question: str, label: str):
    r = client.chat.completions.create(
        model="grok-4.6",
        messages=[
            {"role": "system", "content": LONG_SYSTEM},
            {"role": "user", "content": question},
        ],
    )
    cached = r.usage.prompt_tokens_details.cached_tokens
    print(f"[{label}] input={r.usage.prompt_tokens} cached={cached}")


ask("Summarize the key points", "call 1")   # cold start: cached is 0 or a tiny value
ask("Give me 3 keywords", "call 2")         # expect cached close to the prefix length

[call 1] input=8804 cached=128
[call 2] input=8804 cached=8704

​

Как отличить попадание от промаха — смотрите поле usage

​

Как это читать: малые значения — это не попадания

​

Сверка: подробность тарификации кэша в консоли

1. Создайте стабильный префикс длиной более тысячи token и отправьте два запроса подряд
2. Во втором ответе cached_tokens должно быть явно в тысячах
3. В бэкенд журналах вызовов этот запрос показывает строку «чтение из кэша» и заметно более низкую стоимость входных данных, чем у первого

​

Улучшение процента попаданий

​

Сформируйте стабильный префикс

• Длинные инструкции, few-shot-примеры и определения tools идут первыми; ввод пользователя и метки времени — последними
• Сохраняйте порядок определений tools и сериализацию JSON неизменными (не позволяйте сериализатору перемешивать ключи)
• Входные изображения тоже участвуют в сопоставлении префикса — при повторном использовании сохраняйте base64 / URL и параметры идентичными
• Используйте один и тот же префикс в короткой серии запросов, а не растягивайте обращения во времени

​

Длинные диалоги лучше вести в цепочке Responses

r1 = client.responses.create(
    model="grok-4.6",
    input=[{"role": "system", "content": LONG_SYSTEM},
           {"role": "user", "content": "First question"}],
    store=True,
)

r2 = client.responses.create(
    model="grok-4.6",
    previous_response_id=r1.id,          # send only the new turn; the upstream carries the history
    input=[{"role": "user", "content": "Follow-up"}],
    store=True,
)
print(r2.usage.input_tokens_details.cached_tokens)

​

О x-grok-conv-id

​

Процент попаданий и чего ожидать

​

Частые подводные камни

​

Краткое сравнение с другими каналами

​

Краткое резюме

​

Связанные ссылки

• Та же группа: Обзор Grok · Чат и рассуждение · Веб-поиск и поиск в X · Выполнение кода и MCP
• Кэширование на других каналах: Тарификация кэша OpenAI · Тарификация кэша Gemini · Тарификация кэша Claude
• Обзор для всей платформы: FAQ по тарификации кэша
• Получить или управлять token: https://api.apiyi.com/token
• Официальная документация xAI: docs.x.ai/developers/advanced-api-usage/prompt-caching