메인 콘텐츠로 건너뛰기

짧은 답변

세 문장으로 요약하면 다음과 같습니다.
  1. “이미지를 볼 수 있다”와 “이미지를 만들 수 있다”는 서로 다른 기능입니다. 거의 모든 최신 채팅 모델은 이미지를 읽을 수 있습니다(일반적으로 “멀티모달”이 의미하는 바입니다). 그러나 이미지를 생성할 수는 없으며, 이는 전용 이미지 모델이라는 별도의 모델 유형에 해당합니다.
  2. Gemini 이미지 제품군만이 하나의 엔드포인트에서 텍스트와 이미지를 함께 반환합니다 — gemini-3-pro-image(Nano Banana Pro), gemini-3.1-flash-image(Nano Banana 2) 및 관련 모델은 동일한 응답에서 텍스트 부분과 이미지 부분을 교차하여 반환합니다.
  3. 그 외의 모든 방식은 오케스트레이션입니다. 즉, 채팅 모델과 독립형 이미지 엔드포인트(이미지 API)가 함께 작동하는 방식입니다. OpenAI Responses 네이티브 image_generation 도구는 APIYI에서 권장되지 않습니다. 호출당 고정 요율로만 과금할 수 있어 합리적인 가격 모델이 아니며, 안정성도 보장할 수 없습니다.

먼저 입력 이미지와 출력 이미지를 구분해야 합니다

혼란의 대부분은 “멀티모달”이라는 단어에서 비롯됩니다. API 컨텍스트에서 이 단어는 기본적으로 입력 측을 의미하며, “모델에 이미지를 입력할 수 있다”는 뜻이지, “모델이 이미지를 생성해 줄 수 있다”는 뜻이 아닙니다. 이 두 기능은 서로 다른 모델 풀, 서로 다른 엔드포인트, 서로 다른 과금 방식을 사용합니다.
따라서 누군가 “멀티모달 채팅 API가 있습니까?”라고 물었을 때, 모델이 분석하도록 이미지를 업로드하려는 것이라면 “거의 모든 모델이 이를 지원합니다”가 답변입니다. 모델이 이미지를 그리기를 원하는 것이라면, 이는 완전히 다른 모델 집합에 해당합니다. 이 한 가지 확인 질문만으로도 대부분의 후속 대화를 줄일 수 있습니다.

이미지 생성에 이르는 네 가지 경로

가장 표준적이고 저렴하며 디버깅하기 쉬운 경로입니다. GPT-Image, FLUX, Seedream 및 Grok Imagine이 모두 여기에 해당합니다.
FLUX와 Seedream은 일반적으로 data[0].url를 반환하고, GPT-Image 제품군은 data[0].b64_json을 반환합니다. 이 경로는 대화형 텍스트를 전혀 반환하지 않습니다 — Chat 엔드포인트가 아닙니다.전체 모델 표: 이미지 및 동영상 생성 모델. 모델별 엔드포인트, 시간 제한 및 출력 형식의 차이: 이미지 API 참고 사항 및 모범 사례.
Nano Banana 시리즈(gemini-3-pro-image, gemini-3.1-flash-image 등)는 네이티브 Gemini 엔드포인트를 사용하며, candidates[0].content.parts는 이기종 배열입니다. 이미지 파트만 포함할 수도 있고, 텍스트 파트와 이미지 파트가 서로 섞여 있을 수도 있습니다. 한 번의 호출로 두 가지를 모두 제공하는 제품군은 이 제품군뿐입니다.처음부터 알아 두어야 할 함정이 하나 있습니다. 파트의 개수와 순서는 모두 보장되지 않습니다. 테스트에서 다음 세 가지 배열이 관찰되었습니다.따라서 parts[0] 또는 parts[1]를 하드코딩하면 간헐적으로 실패합니다. 올바른 방법은 필드 존재 여부로 필터링한 다음 마지막 inlineData을 가져오는 것입니다(복잡한 프롬프트의 경우 모델이 여러 이미지를 반환하며, 마지막 이미지가 최종 버전입니다).
전체 세부 정보: Nano Banana 시리즈 개발자 가이드.
이 경로는 POST /v1/responses을 gpt-5.5과 함께 호출하고 네이티브 이미지 도구를 추가합니다.
모델이 이미지를 생성할지 자체적으로 결정하며, 이미지는 일반 텍스트 출력과 함께 응답의 image_generation_call 항목에 base64로 포함되어 output 배열로 반환됩니다. 형태만 보면 OpenAI 측에서 “이미지를 생성하는 Chat 모델”에 가장 가까운 방식이지만 — APIYI에서는 권장하지 않습니다.
권장하지 않는 이유: APIYI에서 Responses 내부의 이미지 도구는 호출당 과금만 가능합니다 — 이미지당 약 $0.20의 고정 도구 호출 요금이 부과되며, 경로 A와 같은 사용량 기반 옵션이 없습니다. 이는 합리적인 과금 모델이 아닙니다. 또한 공급 제약으로 인해 이 경로의 안정성을 보장할 수 없습니다.이미지 생성에는 항상 사용량에 따라 과금되는 경로 A의 Images API(/v1/images/generations / /v1/images/edits)를 사용하십시오. “에이전트가 이미지를 생성할지 결정하는” 방식을 원한다면 아래의 “대화 및 이미지 생성” 오케스트레이션으로 구현하십시오 — 동일한 결과를 얻으면서 과금도 명확합니다.
gpt-image-2-all 및 gpt-image-2-vip은 /v1/chat/completions를 통해 호출할 수 있으며, 이미지는 choices[0].message.content 내부에 Markdown 링크로 삽입됩니다.“대화도 하고 이미지도 생성하는 하나의 Chat 엔드포인트”처럼 보이지만, 이미지를 생성할 수 있는 Chat 모델은 아닙니다 — 내부적으로는 여전히 일반적인 대화 기능이 없는 이미지 모델을 Chat 스키마로 감싼 형태입니다. 또한 기본 이미지로 마지막 user 메시지의 image_url만 읽으며, 어시스턴트 기록의 이미지는 무시됩니다.이 경로는 더 이상 권장하지 않습니다 — 새로 통합할 때는 경로 A를 사용하십시오.

“채팅 및 그리기” 제품 구축: 권장 구조

대부분의 에이전트와 제품에 실제로 필요한 것은 하나의 만능 엔드포인트가 아니라 명확한 오케스트레이션 체인입니다.
1

채팅 모델이 의도를 분류하도록 합니다

이미 사용 중인 채팅 모델(gpt-5.5, claude-opus-5, gemini-3-pro 등)을 사용하여 사용자 입력을 처리하고 이번 요청이 대화인지 이미지 요청인지 결정하도록 합니다. 도움이 된다면 구조화된 플래그를 반환하도록 합니다.
2

채팅 모델이 이미지 prompt를 작성하도록 합니다

이 단계는 비용 이상의 가치를 제공합니다. 사용자는 “포스터를 만들어 주세요”라고 말하지만, 이미지 모델에는 완전한 시각적 설명이 필요합니다. 채팅 모델이 일상적인 요청을 형식에 맞는 prompt로 다시 작성하도록 하면 출력 품질이 눈에 띄게 일관되어집니다.
3

이미지 엔드포인트를 호출합니다

경로 A의 /v1/images/generations를 사용합니다. 반환된 url 또는 b64_json을 가져와 자체 객체 스토리지에 저장합니다.
4

이미지를 대화에 다시 전달합니다

대화 기록에 이미지 링크를 어시스턴트 메시지로 추가합니다. 사용자에게는 이것이 “하나의 흐름에서 채팅하고 그리는 것”처럼 보입니다.
이와 같이 분리할 때의 실질적인 이점은 각 모델을 독립적으로 교체할 수 있고(이미지 모델을 변경해도 대화 로직에는 영향을 주지 않습니다), 로그에서 과금이 명확하게 분리되며, 전체 요청을 다시 실행하는 대신 각 단계를 자체적으로 재시도할 수 있다는 점입니다.

모델이 이미지를 지원하는지 확인하는 방법

1

1. 모델 세부 정보 페이지 확인

/models/<model-name>을 열고 상단 사양 표의 입력 모달리티 행을 확인합니다. — 여기에 “이미지”가 표시되어 있으면 해당 모델은 비전 기능을 지원합니다. 가장 빠르게 확인하는 방법입니다.
2

2. 확실하지 않으면 테스트

이미지가 포함된 최소 요청을 전송하고 응답을 확인합니다.
3

3. 오류 문자열 확인

텍스트 전용 모델은 명시적으로 실패합니다. 업스트림 메시지는 Model do not support image input입니다. (문법은 업스트림의 것이며 오타가 아닙니다.) 해당 줄이 표시되면 모델이 이미지를 지원하지 않는 것이므로 모델을 변경합니다.
알려진 텍스트 전용 예외(2026-08-20 기준): deepseek-v4-pro, deepseek-v4-flash, glm-5.2입니다.이들은 “최신 모델이지만 여전히 이미지 입력을 지원하지 않는 모델” 중 일부이며, 사용자가 자주 놓치는 경우입니다. 모델 카탈로그가 변경되면 이 목록도 변경됩니다 — 동일한 벤더의 세대별 모델 간에도 기능이 다릅니다. 이 목록을 영구적인 기준으로 여기지 말고, 항상 모델 세부 정보 페이지의 “입력 모달리티” 행과 직접 수행한 테스트 결과를 최종 기준으로 삼습니다.

흔히 발생하는 오해 5가지

아닙니다. API 환경에서 멀티모달은 기본적으로 입력 측 기능을 의미합니다. gpt-5.5은 사용자가 전송한 디자인 목업을 읽을 수 있지만, 자체적으로 이미지를 출력할 수는 없습니다. 이미지를 얻으려면 이미지 엔드포인트를 별도로 호출해야 합니다(경로 A). Responses 네이티브 이미지 도구(경로 C)는 APIYI에서 권장되지 않습니다.
아닙니다. 이미지 모델에는 일반적인 대화 기능이 없으므로 gpt-image-2을 지원 챗봇의 기반으로 사용하지 마십시오. 채팅 엔드포인트를 허용하는 -all / -vip 변형(경로 D)조차도 내부적으로는 여전히 이미지 모델입니다.
반대 방향은 성립하지 않습니다. responseModalities: ["TEXT", "IMAGE"]을 선언해도 응답에 텍스트 파트가 포함된다는 보장은 없습니다. 모델은 이미지만 반환할 수 있습니다. 다만 다른 방향은 유용합니다. ["IMAGE"]을 명시적으로 선언하면 불필요한 텍스트 파트를 줄일 수 있습니다.
그렇지 않습니다. 하드코딩된 두 인덱스 방식은 상호 보완적입니다. 이미지는 항상 [0] 또는 [1]에 들어가므로, 어느 쪽을 선택하든 일부 요청에서는 이미지를 가져오지 못합니다. 인덱스를 변경하면 실패하는 요청만 바뀝니다. 필드 존재 여부로 필터링하는 방법만 안정적입니다.
아닙니다. 또한 조용히 실패합니다. Grok Imagine은 가장 명확한 예입니다. 생성 엔드포인트에 image / image_url / images을 전달하면 정상적인 이미지와 함께 200을 반환하지만, 참조 이미지는 조용히 폐기되고 평소와 같이 과금됩니다. 반환되는 결과는 단순한 텍스트-이미지 결과입니다.이미지 편집은 반드시 /v1/images/edits을 통해 수행해야 합니다. 또한 Grok Imagine은 해당 위치에서 multipart/form-data도 요구합니다. JSON을 전송하면 엄격한 400 오류가 반환됩니다.

관련 문서

비전(이미지 이해) API

입력 측 전체 가이드: 지원되는 모델, URL과 base64 비교, 다중 이미지 입력, 일반적인 오류

이미지 및 동영상 생성 모델

가격이 포함된 출력 측 모델 전체 표 — 이미지를 생성할 수 있는 모델을 확인하는 곳

Nano Banana 시리즈 개발자 가이드

Gemini 이미지 제품군을 올바르게 호출하는 방법: parts 순회, 다중 이미지 출력, mimeType 처리

이미지 API 참고 사항 및 모범 사례

이미지 모델 전반의 엔드포인트, 타임아웃 및 출력 형식 표

적합한 AI 모델을 선택하는 방법

사용 사례, 비용 및 속도에 따른 모델 선택