11 月 11 日，豆包大模型团队正式公布通用图像编辑模型 SeedEdit。让一句话轻松 P 图成为现实。

用户只需输入简单的自然语言，便可对图像进行多样化编辑操作，包括修图、换装、美化、风格转化以及在指定区域添加或删除元素等。

SeedEdit 能够广泛适应不同用户的多样化编辑需求，可控性强、编辑效果佳且无贴图感，主要体现在三个方面：

• 高精度指令理解，对中英文、专有名词“来者不拒”

SeedEdit 依托豆包文生图大模型，具备出色的指令理解能力。无论是中文还是英文输入，都能精准响应，对于成语、专有名词等复杂词汇也毫不逊色。

例如，当输入 “街道上车水马龙” 这样富有场景描述的指令时，SeedEdit 能够迅速捕捉关键信息，将原图巧妙地转换为一幅展现交通繁忙景象的街道画面。

prompt：街道上车水马龙

再如，输入“驴打滚换成拿破仑”这一指令，SeedEdit 准确识别出 “驴打滚” 和 “拿破仑” 的特殊含义，迅速完成美食的替换操作，完美地实现用户的编辑意图。

• 高质量编辑效果，聚焦目标，不“误伤”原图

与传统涂抹选中修改目标的方式相比，SeedEdit 直接通过文字指令编辑图像，在处理如裂纹、发丝等精细涂抹区域时展现出独特优势。

它能够更加灵活、精准且快速地选择目标，在编辑过程中最大限度地保持原图的完整性。

如图所示，SeedEdit 仅处理文字指令涉及区域（玻璃裂纹），图像其余部分画面结构、像素质量，均不受影响。

值得一提的是，SeedEdit 支持多轮编辑。它借助隐空间编辑技术，能维持图片像素的清晰度和画面结构的稳定性，进而支持用户长时序、复杂编辑任务。

一个茶杯经多轮编辑，华丽变身成带有“WOW”字样的大理石花纹咖啡杯。SeedEdit 不仅能变材质、加杯盖、添文字，还能换背景、增光线，轻松支持用户的创意编辑。

• 高效率创新模型，可实现多元风格，美观自然

相较于通过优化单一专家任务、配置专有工作流等传统方式，SeedEdit 充分发挥了通用图像编辑模型的优势。

用户只需通过简单的指令调优，即可轻松完成诸如换背景、变换风格、物体增删、替换等丰富多样的编辑任务，极大地提高了编辑效率。

让小狗手拿报纸，经过 SeedEdit 编辑后的图片整体风格自然流畅，毫无贴图感。

prompt：腊肠狗在充满泡泡的浴缸中看报纸

 2. SeedEdit：从图像再生成到图像编辑 

现今的扩散模型可以仅凭文本描述生成真实且多样的图像。然而，这些生成的图像通常是不可控的，在某种程度上，生成过程单凭文本难以控制。

目前，业界扩散模型图像编辑方法大致分为两类：无需训练方法、数据驱动方法，二者均有劣势。训练自由方法的重建和再生过程不稳定，容易因误差累积，造成编辑图像与输入或目标描述不一致；数据驱动方法的数据集收集困难，主要依赖工具创建数据集，性能受限于数据创建工具。

为了解决以上问题，豆包大模型团队提出 SeedEdit 框架，不引入新的参数将图像生成扩散模型转换为图像编辑模型。

团队在论文中提及：图像编辑本质上是图像重建和再生成之间的平衡，因此开发了一个 Pipeline，首先生成散布在这两个方向上的多样化成对数据，然后逐渐将一个图像条件扩散模型对齐，以在这两项任务之间达到最佳平衡。

SeedEdit: Align Image Re-Generation to Image Editing

arXiv 链接：https://arxiv.org/pdf/2411.06686

SeedEdit 官网：https://team.doubao.com/seededit

具体而言，首先将文本到图像（T2I）模型视为一个弱编辑模型，改造它通过生成带有新提示的新图像来实现“编辑”。随后，将这种弱编辑模型反复进行蒸馏和对齐，以最大程度地继承再生成能力，同时提高图像一致性，如下图所示。

最终，SeedEdit 得以输出高质量、高保持、高精准的编辑图像。

• 用于编辑数据生成的 T2I 模型

首先，作为弱编辑模型的 T2I 模型生成带有新提示的新图像，实现初步“编辑”。

预训练的 T2I 模型通过类似 InstuctP2P 的文本描述，生成一对作为初始编辑数据的图像。

然而，现有方法如从 Prompt-to-Prompt 、调整注意力控制等，无法涵盖所有图像编辑类型，只能生成有限类型的配对数据。

为解决这一问题，SeedEdit 结合多类型的再生技术和调整参数，生成大规模配对数据集。此外，还增加随机性以确保数据多样性，再通过过滤器筛选优质例子，用于模型训练和对齐。

在 CLIP 指标基础上，SeedEdit 的对齐模型表现明显胜于简单的再生成。

• 带图像输入的因果扩散模型

通过最大限度继承重新生成能力、提升图像一致性，弱编辑模型 T2I 模型被蒸馏对齐为以输入为条件的编辑模型（强编辑模型）。

与过去为图像条件添加额外输入通道的方法不同，SeedEdit 图像条件扩散模型重用自注意力机制，两个分支（共享参数）分别用于图像输入与输出。

具体来说，SeedEdit 通过引入一个因果自注意力结构，两个网络能够基于中间特征建立通信。如果去掉输入分支，图像条件扩散模型将回到原始的 T2I 模型，从而实现在编辑和 T2I 数据上进行混合训练。

该做法受无需训练的方法启发，实验中在几何变形任务上表现更佳，引入新参数更少。

• 迭代对齐

由于噪声问题，最初在成对样本上训练的编辑模型，虽然能覆盖多样化编辑任务，但成功率有限，可能不足以应对应用需求。

为进一步确保模型鲁棒性，SeedEdit 增加额外微调轮次，逐步对齐编辑模型。

微调操作为，基于已有编辑模型，遵循上述数据流程，准备一套新数据，对结果再次进行编辑、筛选，重复多轮直至在指标上没有明显改进、模型收敛。

• 实验结果

实验选择 SDXL、MMDTi 两个基础模型，使用 HQ-Edit 、Emu Edit 数据集，采用两个指标评估编辑性能。

其中，基于 CLIP 的指标用于评估对编辑提示的对齐情况，以 CLIP 图像相似度衡量一致性。以 LLM 作为评估器的指标，GPT 用于替代 CLIP 方向分数，衡量编辑成功与否。

在 HQ-Edit 数据集上，SeedEdit 编辑分数明显高于开源基线，效果优于目前任何开源方案，有更高的 CLIP 图像相似度，原始图像保持更完整。

在 Emu Edit 基准上，SeedEdit 相比原有方法，分数实现提升或持平。

HQ-Edit 基准测试方法和基线的定性示例显示，SeedEdit 可以更好地理解模糊指令，执行细颗粒度编辑时成功率更高。

 3. 持续发力图像编辑，拓展多图玩法，提升响应精度 

目前，SeedEdit 模型已在豆包 PC 端和即梦网页端开启测试。

相比业内现有研究成果，SeedEdit 首次以产品形态零样本稳定跟随用户需求编辑图片，同时增强了响应能力和保持能力。这也是豆包大模型团队在多模态生图领域的一次重要拓展。

以此为起点，团队将从技术创新与玩法拓展上持续精进，全面提升图像编辑模型的综合实力。

于技术层面而言，团队将聚焦于优化 SeedEdit 在处理真实图片时的鲁棒性，同时针对性提升人体相关、人像美化、素材设计与重设计等高价值专家模型的响应效果。利用大模型能力，未来希望在图片控制上进一步扩展对于用户编辑意图的精准理解，在压缩的隐空间维度实现更精准的响应效果。

在玩法创新维度，现阶段 SeedEdit 主要致力于单图编辑，未来将拓展多图联动玩法，通过构建稳定且连贯的场景、人体与物体组合，以 “讲故事” 的方式赋予图像序列生命力，为用户的创意表达开辟更为广阔的空间，激发无限创作潜能。

如果对 SeedEdit 创新成果感兴趣，欢迎点击“阅读原文”浏览 SeedEdit 官网了解技术详情，或登录豆包 PC 端及即梦网页端体验模型能力。同时，豆包大模型团队希望吸引有志于视觉领域的优秀人才，共同用技术创造更多可能。

 点击“阅读原文”，了解 SeedEdit 技术成果