OpenAI Prompt Caching 快取計費指南

# ❌ 錯：動態內容拼在 system 開頭，字首每次都變，永遠命中不了
messages = [
    {"role": "system", "content": f"當前時間 {datetime.now()}。你是一個助手。" + 長指令},
    {"role": "user", "content": 問題},
]

# ✅ 對：長指令和工具定義在前保持穩定，動態內容放 user 訊息裡
messages = [
    {"role": "system", "content": 長指令},          # 穩定，會命中
    {"role": "user", "content": f"當前時間 {datetime.now()}。{問題}"},  # 易變，放最後
]

import os
from openai import OpenAI

client = OpenAI(
    api_key=os.environ["APIYI_API_KEY"],
    base_url="https://api.apiyi.com/v1"
)

# 必須足夠長：不少於 1024 tokens，大約 1500+ 中文字
LONG_SYSTEM = open("long_instructions_zh.txt").read()


def ask(question: str, label: str):
    r = client.chat.completions.create(
        model="gpt-5.4",
        messages=[
            {"role": "system", "content": LONG_SYSTEM},
            {"role": "user", "content": question},
        ],
    )
    cached = r.usage.prompt_tokens_details.cached_tokens
    print(f"[{label}] input={r.usage.prompt_tokens} cached={cached}")


ask("請概括要點", "第1次")    # 期望 cached=0
ask("請給3個關鍵詞", "第2次")  # 期望 cached≈字首長度

[第1次] input=2330 cached=0
[第2次] input=2335 cached=2304

r = client.chat.completions.create(
    model="gpt-5.4",
    messages=messages,
    prompt_cache_key="user-12345"  # 按使用者/會話固定路由
)