SD 人物一致性怎么控制？用 IP-Adapter 参考图调权重并核对细节

要让 Stable Diffusion 在新场景中沿用一个角色的外观，可以用 IP-Adapter 把参考图片加入生成条件，再调整参考图权重。它适合试着保留发型、服装和配色等视觉特征；单张参考图不能保证角色身份、脸部比例和每个配饰完全一致。

本文面向会运行 Python、使用自有虚构角色素材的读者，示例采用 SD 1.5 与普通 IP-Adapter。内容依据 2026 年 10 月 1 日核对的 Diffusers 0.35.1 和模型卡编写，未下载模型生成图，也没有做人物一致性评分或显存测试。

先选一张容易核对的参考图

把单人、无遮挡的自有角色图保存为 character.png。尽量包含主要发型、服装和配饰，避免一张图有多个角色；杂乱背景也可能一起影响新图。先写下要保留的特征，后面按这些特征比较，不把“感觉像”当成一致性验收。

上表是人工构造的角色示例；如果你的角色不同，就替换特征和提示词。新场景先选中等变化，例如从室内改为花园阅读。直接从正面半身跳到背面全身，会让参考图未提供的细节更多。

核对底模与适配器版本

IP-Adapter 模型卡分别列出了 SD 1.5 和 SDXL 权重。本例使用 models/ip-adapter_sd15.bin，接 SD 1.5 底模；不要换成 sdxl_models 里的文件。它是图像提示适配器，不是训练一个新的角色 LoRA。

先在 Python 环境按 PyTorch 安装页配置与你设备匹配的 CUDA 版本。确认可用性为 True，再安装依赖；下载底模、适配器和图像编码器需要网络及磁盘空间。

python -c "import torch; print(torch.__version__, torch.cuda.is_available())"
python -m pip install diffusers==0.35.1 transformers==4.56.2 accelerate==1.10.1 safetensors pillow

固定种子，生成三档参考权重

把下面代码保存为 reference_demo.py，运行 python reference_demo.py。官方指南使用 load_ip_adapter 加载参考适配器、set_ip_adapter_scale 调整影响，并通过 ip_adapter_image 传图。CPU offload 要在适配器加载之后启用，图像编码器才会一起纳入这个配置。

from pathlib import Path
from PIL import Image
import torch
from diffusers import AutoPipelineForText2Image

reference = Image.open("character.png").convert("RGB")
pipe = AutoPipelineForText2Image.from_pretrained(
    "stable-diffusion-v1-5/stable-diffusion-v1-5",
    torch_dtype=torch.float16, variant="fp16", use_safetensors=True,
)
pipe.load_ip_adapter(
    "h94/IP-Adapter", subfolder="models",
    weight_name="ip-adapter_sd15.bin",
)
pipe.enable_model_cpu_offload()
folder = Path("reference_out")
folder.mkdir(exist_ok=True)
prompt = "a fictional girl with short brown hair, red coat and blue scarf, reading a book in a garden, illustration"
for scale in (0.0, 0.4, 0.8):
    pipe.set_ip_adapter_scale(scale)
    image = pipe(
        prompt=prompt, ip_adapter_image=reference,
        height=512, width=512, num_inference_steps=30,
        guidance_scale=7.5,
        generator=torch.Generator(device="cpu").manual_seed(42),
    ).images[0]
    image.save(folder / f"reference_{scale:.1f}.png")

0.0 是参考图影响关闭的对照；0.4 与 0.8 用来观察参考影响变化，不代表默认最佳值。普通 IP-Adapter 接收整体图像特征；提高权重也可能带回原背景或构图，使“花园阅读”的新场景不够明显。

用特征表筛选，而不是只挑最好看的一张

运行后检查 reference_out 中三张 PNG 是否存在并可打开。先分别记下发型、外套、围巾和配饰是否保留，再看新场景有没有兑现、是否出现多余人物或手部异常。比如 0.8 保留红外套，却把参考图的室内背景带回来，就没有同时满足角色与花园场景两个目标。

第一轮只比较权重。选出候选后，固定这档权重和种子，仅把花园阅读改成花园站立，再核对同一特征表；这样才能知道方法是否适应一个新的动作。若两张都只保留颜色但脸型明显变了，记录为外观部分一致，不写“身份锁定成功”。

• 完全不像参考：先确认载入的是 SD 1.5 对应权重，传入正确文件，scale 没有留在 0；再裁掉过多背景。
• 很像参考但新场景失败：降低参考权重，简化场景指令；不要同时换底模、种子和权重。
• 加载时显存不足：图像编码器也占用资源。保留 offload，并按设备调整配置；本文没有给出固定显存运行保证。

一致性任务的边界

同一角色的多格漫画、连续镜头或精确人脸需要更严格的逐图审核，普通图像适配器不能保证身份一致。这里不用 FaceID，也没有人脸识别或身份验证功能。角色素材、底模和适配器许可分别检查；SD 1.5 模型卡仍适用于底模，适配器的许可不会替代底模条件。

如果你是在做绘本，可先阅读站内的绘本插画工具选择与角色一致性，决定需要参考图方案还是更长期的角色素材管理；本页解决的是一次参考权重实验。