Длинные промпты и двухэтапная генерация: откуда берётся ограничение в 32K

​

Вопрос клиента: почему API ограничивает длину 32K, если ChatGPT этого не делает?

Клиент: Длина вашего prompt отличается от длины prompt в ChatGPT. Похоже, действует ограничение в 32K. Мы: Ограничение есть. У кого бывает задача с изображением и prompt на 32K? Клиент: У многих. Рекламные креативы, размеры упаковки… Тогда я просто сам вызову Codex CLI. Мы: Для уточнения: prompt на 32 000 tokens? Клиент: Да. 32 000 символов на английском — это совсем немного.

​

Откуда берётся ограничение в 32K

​

Почему веб-приложение ChatGPT выглядит безлимитным

• Вставьте длинный документ в ChatGPT — и читать его будет чат-модель, а не модель изображений. Ознакомившись с ним, чат-модель сама создаст короткий промпт для изображения и вызовет инструмент изображений с этим промптом. Модель изображений никогда не видит исходный материал. Вставки длиной более 10 000 символов автоматически преобразуются во вложения (справочный центр OpenAI, help.openai.com), что наглядно показывает: текст предназначен для чат-модели.
• Через API вы обращаетесь напрямую к модели изображений. Между вами и моделью нет никого, кто бы прочитал материал и принял решения за вас. Ограничение относится к уровню модели изображений, а веб-приложение никогда не предоставляет ей доступ к исходному материалу.
• Прощальная фраза клиента — «я просто сам вызову codex cli» — отражает правильный подход: попросить текстовую модель прочитать материал и создать промпт для изображения. Именно это веб-приложение делает в фоновом режиме, а приведённый ниже двухэтапный конвейер позволяет запустить такой процесс.

​

Две составляющие стоимости длинного промпта

​

Два этапа: материалы в текстовую модель, промпт — в модель изображений

import os
from openai import OpenAI

client = OpenAI(
    api_key=os.environ["APIYI_API_KEY"],
    base_url="https://api.apiyi.com/v1",
)

DISTILL_SYSTEM = """You are an ad-creative prompt engineer. Read all the material the user provides and output one prompt that can be sent directly to an image model.

Write in this order, one line per section:
1 Hard constraints: logo not distorted, packaging text verbatim, number of people, aspect ratio, background colour value
2 Purpose and placement
3 Subject and packaging elements that must be kept
4 Composition and negative space: product position, people position, framing, area reserved for copy
5 Visual: setting, palette, one identifiable key light, materials, photographic style
6 Do not

Rules:
- At most 2500 characters. Output only the prompt body, no explanation, no headings
- Do not invent anything absent from the material, especially brand names and packaging text
- Do not use vague quality words such as 8K, ultra HD, masterpiece, perfect
- Keep anything the material specifies explicitly, do not rewrite it"""

PROMPT_LIMIT = 32000  # OpenAI Images API prompt limit, in characters


def distill(brief: str, model: str = "gpt-5.6") -> str:
    resp = client.chat.completions.create(
        model=model,
        messages=[
            {"role": "system", "content": DISTILL_SYSTEM},
            {"role": "user", "content": brief},
        ],
    )
    prompt = resp.choices[0].message.content.strip()
    if len(prompt) > PROMPT_LIMIT:
        # rare; compress one more round if it happens
        prompt = distill(f"Compress the following prompt to under 2500 characters, keeping every hard constraint:\n\n{prompt}", model)
    return prompt


def generate(prompt: str, size: str = "1536x1024", quality: str = "high") -> bytes:
    import base64
    resp = client.images.generate(
        model="gpt-image-2.5-sunburst",
        prompt=prompt,
        size=size,
        quality=quality,
        timeout=600,
    )
    return base64.b64decode(resp.data[0].b64_json)


if __name__ == "__main__":
    brief = open("brief.md", encoding="utf-8").read()   # brand book + packaging spec + ad requirements, any length
    prompt = distill(brief)
    open("prompt.txt", "w", encoding="utf-8").write(prompt)   # persist; generation replays only this
    open("ad.png", "wb").write(generate(prompt))

​

Когда действительно нужен длинный prompt

• Редактирование нескольких изображений: ссылайтесь на эталонные изображения как на «изображение 1 / изображение 2 / изображение 3» и указывайте, что именно нужно взять из каждого. Несколько сотен символов.
• Текст внутри изображения: надписи, плакаты и текст на упаковке необходимо указывать дословно, а не оставлять на усмотрение модели. От нескольких десятков до нескольких сотен символов.
• Общий префикс для серии: блок с описанием стиля, освещения и композиции, общий для пакета. Менее тысячи символов.

​

Краткая справка

• 32 000 символов — это официальный лимит API изображений OpenAI, подсчитываемый в символах, а не в token; он одинаков для /generations и /edits, и официальный релей APIYI его не ужесточает.
• Символы, token и контекстное окно — это три разные вещи: 32 тыс. символов на английском — это примерно 8 тыс. token, для китайского текста — больше; контекстное окно текстовой модели никак не связано с лимитом промпта модели изображений.
• «Нет лимита» в веб-приложении — иллюзия: чат-модель читает материал и самостоятельно составляет короткий промпт для инструмента изображений; модель изображений никогда не сталкивается с ограничением в 32 тыс. символов.
• Подробный — не значит длинный: текстовый ввод тарифицируется по token, и каждая повторная попытка оплачивается снова; сотни конкурирующих требований скрывают жёсткие ограничения.
• Два этапа: сжать материал с помощью текстовой модели в структурированный промпт объёмом от 1 до 3 тыс. символов, разместив жёсткие ограничения в начале, сохранить его, а для генерации повторно отправлять только промпт.

​

Связанные документы

• Как получать впечатляющие изображения
• Отклонения по соображениям безопасности
• Расширенная генерация изображений: рабочий процесс и реалистичность
• Навык диагностики промптов для изображений
• Справочник API для преобразования текста в изображения