Длинные prompt и двухэтапная генерация: откуда берется лимит в 32K

​

Вопрос клиента: почему в API действует ограничение в 32K, тогда как в ChatGPT его нет?

Клиент: Длина вашего prompt отличается от ChatGPT. Похоже, она ограничена 32K. Мы: Ограничение действительно есть. Но у кого бывает задача по генерации изображений с prompt на 32K? Клиент: У многих. Креативы для рекламы, габариты упаковки… Я просто сам вызову Codex CLI. Мы: Уточните, пожалуйста, prompt на 32 000 tokens? Клиент: Да. 32 000 символов на английском — это совсем немного.

​

Откуда берется лимит в 32K

​

Почему веб-приложение ChatGPT выглядит безлимитным

• Вставьте длинный документ в ChatGPT — и читать его будет чат-модель, а не модель изображений. Ознакомившись с ним, чат-модель сама создаст короткий промпт для изображения и вызовет инструмент изображений с этим промптом. Модель изображений никогда не видит исходный материал. Вставки длиной более 10 000 символов автоматически преобразуются во вложения (справочный центр OpenAI, help.openai.com), что наглядно показывает: текст предназначен для чат-модели.
• Через API вы обращаетесь напрямую к модели изображений. Между вами и моделью нет никого, кто бы прочитал материал и принял решения за вас. Ограничение относится к уровню модели изображений, а веб-приложение никогда не предоставляет ей доступ к исходному материалу.
• Прощальная фраза клиента — «я просто сам вызову codex cli» — отражает правильный подход: попросить текстовую модель прочитать материал и создать промпт для изображения. Именно это веб-приложение делает в фоновом режиме, а приведённый ниже двухэтапный конвейер позволяет запустить такой процесс.

​

Две составляющие стоимости длинного промпта

​

Два этапа: материалы в текстовую модель, prompt — в модель генерации изображений

import os
from openai import OpenAI

client = OpenAI(
    api_key=os.environ["APIYI_API_KEY"],
    base_url="https://api.apiyi.com/v1",
)

DISTILL_SYSTEM = """You are an ad-creative prompt engineer. Read all the material the user provides and output one prompt that can be sent directly to an image model.

Write in this order, one line per section:
1 Hard constraints: logo not distorted, packaging text verbatim, number of people, aspect ratio, background colour value
2 Purpose and placement
3 Subject and packaging elements that must be kept
4 Composition and negative space: product position, people position, framing, area reserved for copy
5 Visual: setting, palette, one identifiable key light, materials, photographic style
6 Do not

Rules:
- At most 2500 characters. Output only the prompt body, no explanation, no headings
- Do not invent anything absent from the material, especially brand names and packaging text
- Do not use vague quality words such as 8K, ultra HD, masterpiece, perfect
- Keep anything the material specifies explicitly, do not rewrite it"""

PROMPT_LIMIT = 10000  # conservative character gate: the measured limit is 8,192 tokens (~11,000 Chinese chars), and exceeding it raises no error


def distill(brief: str, model: str = "gpt-5.6") -> str:
    resp = client.chat.completions.create(
        model=model,
        messages=[
            {"role": "system", "content": DISTILL_SYSTEM},
            {"role": "user", "content": brief},
        ],
    )
    prompt = resp.choices[0].message.content.strip()
    if len(prompt) > PROMPT_LIMIT:
        # rare; compress one more round if it happens
        prompt = distill(f"Compress the following prompt to under 2500 characters, keeping every hard constraint:\n\n{prompt}", model)
    return prompt


def generate(prompt: str, size: str = "1536x1024", quality: str = "high") -> bytes:
    import base64
    resp = client.images.generate(
        model="gpt-image-2.5-sunburst",
        prompt=prompt,
        size=size,
        quality=quality,
        timeout=600,
    )
    return base64.b64decode(resp.data[0].b64_json)


if __name__ == "__main__":
    brief = open("brief.md", encoding="utf-8").read()   # brand book + packaging spec + ad requirements, any length
    prompt = distill(brief)
    open("prompt.txt", "w", encoding="utf-8").write(prompt)   # persist; generation replays only this
    open("ad.png", "wb").write(generate(prompt))

​

Когда действительно необходим длинный prompt

• Редактирование нескольких изображений: ссылайтесь на референсные изображения как «image 1 / image 2 / image 3» и указывайте, что именно нужно взять из каждого. Несколько сотен символов.
• Текст внутри изображения: вывески, плакаты, текст на упаковке необходимо указывать дословно, а не оставлять на усмотрение модели. От десятков до сотен символов.
• Общий префикс для серии: блок описания стиля, освещения и композиции, единый для всей партии. Менее тысячи символов.

​

Краткая справка

• Фактический лимит — 8 192 tokens (измерено): при его превышении провайдер не возвращает ошибку и молча игнорирует весь prompt; указанные в документации 32 000 символов приблизительно эквивалентны этому значению для английского языка, тогда как для китайского лимит достигается примерно на 11 000 символов. Официальный релей APIYI его не ужесточает.
• Символы, tokens и контекстное окно — это три разные вещи: 32K символов на английском — это около 8K tokens, на китайском — больше; контекстное окно текстовой модели не имеет никакого отношения к лимиту на prompt у модели генерации изображений.
• «Отсутствие лимита» в веб-приложении — это иллюзия: чат-модель считывает исходный материал и составляет собственный короткий prompt для инструмента генерации изображений; модель генерации изображений никогда не сталкивается с этими 32K.
• Подробный — не значит длинный: входящий текст тарифицируется за каждый token, и за каждую повторную попытку приходится платить снова; сотни конкурирующих требований размывают жесткие ограничения.
• Два этапа: дистиллируйте материал с помощью текстовой модели в структурированный prompt длиной от 1K до 3K символов, поместив жесткие ограничения в начало, сохраните его и отправляйте для генерации только полученный prompt.

​

Связанные документы

• Как получать впечатляющие изображения
• Отклонения по соображениям безопасности
• Расширенная генерация изображений: рабочий процесс и реалистичность
• Навык диагностики промптов для изображений
• Справочник API для преобразования текста в изображения