蒙版局部重绘指南

原始图片 image
+ 蒙版图片 mask
+ 编辑指令 prompt
= 编辑后的完整图片

┌──────────────────────┐
│      不透明区域       │
│   尽量保持原图不变     │
│                      │
│       ┌──────┐       │
│       │透明区│       │
│       │换成花│       │
│       └──────┘       │
└──────────────────────┘

把透明区域中的水杯替换成一束白色郁金香，
其他区域保持不变，保持原有光线、视角和摄影风格。

仅修改蒙版透明区域，将人物上衣替换成纯红色圆领棉质短袖。
保持人物脸部、头发、身体姿势、手臂、背景、构图、相机视角、
光照方向和图片尺寸不变。新衣服需要自然贴合人物身体，并保持
原图的真实摄影质感。

image[0]  = 主要编辑画布
image[1…] = 参考图
mask      = 只作用于 image[0]

import base64
from pathlib import Path
from openai import OpenAI

client = OpenAI(
    api_key="sk-your-api-key",
    base_url="https://api.apiyi.com/v1"
)

with open("input.png", "rb") as image_file, \
     open("mask.png", "rb") as mask_file:

    result = client.images.edit(
        model="gpt-image-2",
        image=image_file,
        mask=mask_file,
        prompt=(
            "仅修改蒙版透明区域。"
            "把桌面上的白色水杯替换成一束白色郁金香，"
            "保持桌面、背景、相机视角、构图和光线不变。"
            "花束需要自然放置在原水杯的位置，并产生符合原图光线的阴影。"
        ),
        size="1536x1024",
        quality="high",
        output_format="png",
        n=1,
    )

image_bytes = base64.b64decode(result.data[0].b64_json)
Path("edited.png").write_bytes(image_bytes)
print("图片已保存：edited.png")

curl -s \
  -X POST "https://api.apiyi.com/v1/images/edits" \
  -H "Authorization: Bearer sk-your-api-key" \
  -F "model=gpt-image-2" \
  -F "image[][email protected];type=image/png" \
  -F "[email protected];type=image/png" \
  -F "prompt=仅修改蒙版透明区域，把桌上的水杯替换成一束白色郁金香，其他区域保持不变，保持原有构图、光线和真实摄影风格。" \
  -F "size=1536x1024" \
  -F "quality=high" \
  -F "output_format=png" \
  | jq -r '.data[0].b64_json' \
  | base64 --decode > edited.png

import fs from "fs";
import OpenAI, { toFile } from "openai";

const client = new OpenAI({
  apiKey: "sk-your-api-key",
  baseURL: "https://api.apiyi.com/v1",
});

const image = await toFile(
  fs.createReadStream("input.png"),
  "input.png",
  { type: "image/png" }
);

const mask = await toFile(
  fs.createReadStream("mask.png"),
  "mask.png",
  { type: "image/png" }
);

const result = await client.images.edit({
  model: "gpt-image-2",
  image,
  mask,
  prompt:
    "仅修改蒙版透明区域。把桌面上的白色水杯替换成一束白色郁金香，" +
    "保持背景、构图、镜头视角和光线不变。",
  size: "1536x1024",
  quality: "high",
  output_format: "png",
});

const imageBuffer = Buffer.from(result.data[0].b64_json, "base64");
fs.writeFileSync("edited.png", imageBuffer);
console.log("图片已保存：edited.png");

from PIL import Image, ImageDraw

original = Image.open("input.png").convert("RGBA")

# 默认整张蒙版完全不透明：尽量保留
mask = Image.new("RGBA", original.size, (255, 255, 255, 255))

draw = ImageDraw.Draw(mask)

# 把指定区域设为完全透明：允许编辑
# 坐标格式：(左, 上, 右, 下)
draw.rectangle((300, 250, 750, 800), fill=(0, 0, 0, 0))

mask.save("mask.png")
print("蒙版尺寸：", mask.size)

from PIL import Image

bw_mask = Image.open("mask_bw.png").convert("L")

rgba_mask = Image.new("RGBA", bw_mask.size, (255, 255, 255, 255))

# 黑色值 0   → Alpha 0   → 透明   → 编辑
# 白色值 255 → Alpha 255 → 不透明 → 保留
rgba_mask.putalpha(bw_mask)

rgba_mask.save("mask.png")

from PIL import Image

image = Image.open("input.png")
mask = Image.open("mask.png")

print("蒙版格式：", mask.format)
print("蒙版模式：", mask.mode)
print("蒙版尺寸：", mask.size)

assert mask.format == "PNG", "蒙版必须是 PNG"
assert mask.mode in ("RGBA", "LA"), "蒙版必须包含 Alpha 通道"
assert image.size == mask.size, "原图和蒙版尺寸必须完全一致"

alpha = mask.getchannel("A")
assert alpha.getextrema()[0] == 0, "蒙版中没有完全透明的编辑区域"

print("蒙版检查通过")

底层 <img>       显示原图（仅供用户参考，不参与导出）
上层 <canvas>    与原图等宽高，初始整张填充为不透明
                 笔刷经过处 → 像素变透明
导出 canvas      → 就是一张合格的 Alpha 蒙版 PNG

const canvas = document.getElementById("mask-canvas");
const ctx = canvas.getContext("2d");

// 1. 画布尺寸 = 原图原始像素尺寸（不是 CSS 显示尺寸），同尺寸自动满足
canvas.width = image.naturalWidth;
canvas.height = image.naturalHeight;

// 2. 初始整张不透明 = 全部保留
ctx.fillStyle = "rgba(255, 255, 255, 1)";
ctx.fillRect(0, 0, canvas.width, canvas.height);

// 3. 关键一行：笔刷改为"擦除"模式，画过的地方变透明
ctx.globalCompositeOperation = "destination-out";
ctx.lineWidth = 40;          // 笔刷粗细
ctx.lineCap = "round";
ctx.strokeStyle = "rgba(0, 0, 0, 1)";

// 4. 监听鼠标 / 触摸事件画线（注意把显示坐标换算回原始像素坐标）
canvas.addEventListener("pointermove", (event) => {
  if (!drawing) return;
  const scaleX = canvas.width / canvas.clientWidth;
  const scaleY = canvas.height / canvas.clientHeight;
  ctx.lineTo(event.offsetX * scaleX, event.offsetY * scaleY);
  ctx.stroke();
});

// 5. 导出：直接得到带 Alpha 通道的 PNG 蒙版
canvas.toBlob((blob) => {
  const formData = new FormData();
  formData.append("mask", blob, "mask.png");
  // 连同原图、prompt 一起 POST /v1/images/edits
}, "image/png");

用户点一下物体          → SAM 输出该物体的像素级轮廓蒙版
用户输入「左边的杯子」   → SAM 3 按文字概念找出所有匹配实例
程序自动 dilate + 羽化  → 提交 /v1/images/edits

import base64
from openai import OpenAI

client = OpenAI(
    api_key="sk-your-api-key",
    base_url="https://api.apiyi.com/v1"
)

with open("person.png", "rb") as person, \
     open("clothes_reference.png", "rb") as clothes, \
     open("fabric_reference.png", "rb") as fabric, \
     open("mask.png", "rb") as mask:

    result = client.images.edit(
        model="gpt-image-2",
        image=[person, clothes, fabric],
        mask=mask,
        prompt=(
            "第一张图片是需要编辑的主体。"
            "仅修改第一张图片蒙版透明区域中的衣服。"
            "使用第二张图片的服装款式和第三张图片的面料质感，"
            "保持第一张图片的人脸、发型、姿势、身体比例、背景和光线不变。"
        ),
        quality="high",
        size="1024x1536",
        output_format="png",
    )

with open("result.png", "wb") as output:
    output.write(base64.b64decode(result.data[0].b64_json))

from PIL import Image, ImageFilter

original = Image.open("input.png").convert("RGBA")
edited = Image.open("edited.png").convert("RGBA")
mask = Image.open("mask.png").convert("RGBA")

if edited.size != original.size:
    edited = edited.resize(original.size, Image.Resampling.LANCZOS)

# 原蒙版 Alpha：0 = 编辑区，255 = 保留区
alpha = mask.getchannel("A")

# 反转后：255 = 使用编辑结果，0 = 使用原图
edit_area = alpha.point(lambda value: 255 - value)

# 轻微羽化，避免边缘太硬
edit_area = edit_area.filter(ImageFilter.GaussianBlur(radius=3))

final = Image.composite(edited, original, edit_area)
final.save("final.png")

宽和高都必须是 16 的倍数
最长边不超过 3840px
长宽比不超过 3:1
总像素不低于 655,360
总像素不超过 8,294,400

result = client.images.edit(
    model="gpt-image-2",
    image=open("input.png", "rb"),
    mask=open("mask.png", "rb"),
    prompt="""
仅编辑蒙版透明区域。

编辑任务：
把透明区域内的白色马克杯替换成一束白色郁金香。

必须保持：
- 原有构图不变
- 相机位置和镜头透视不变
- 桌面及背景不变
- 光线方向和色温不变
- 蒙版外人物和物品不变
- 输出保持真实摄影风格

融合要求：
花束需要自然位于原马克杯所在位置，产生符合现场光线的阴影、
反射和接触关系，不要增加其他物体。
""",
    size="1536x1024",
    quality="high",
    output_format="png",
)