MangaFlow: 端到端智能体驱动的可控故事到漫画生成

基本信息

论文标题: MangaFlow: An End-to-End Agentic Framework for Controllable Story to Manga Generation
作者: Muyao Wang, Zeke Xie, Yanhao Chen, Lixin Xiu, Hideki Nakayama (东京大学), Zeke Xie (香港科技大学广州)
arXiv: 2605.28173
发表时间: 2026年5月
页数: 17页

核心问题

现有的漫画生成方法采用直接页面合成（direct page synthesis），将版面布局、角色、场景全部混杂在一次视觉输出中。这导致三个关键缺陷：

无法控制面板几何形状：面板的大小、位置、排列完全由模型隐式决定
角色引用不可复用：同一角色在不同面板中外观不一致
跨面板一致性差：超过10个面板后角色漂移严重

核心创新

MangaFlow 将漫画创作分解为智能体驱动流水线，引入显式中间变量（explicit intermediate variables）：

布局（Layout）: 显式的几何变量，面板区域、大小、排列可编辑
视觉引用（Visual References）: 角色表、场景图像、关键物品等可复用引用
文字（Lettering）: 对话气泡、旁白框、思考气泡独立控制

这些中间产品不是隐式输出，而是可编辑的控制变量。

六阶段流水线

阶段	名称	功能
1	故事规划（Story Planning）	将故事拆解为页面、面板、故事单元
2	故事单元记忆（Story Section Memory）	每单元存储场景/角色/物品引用，保证跨面板一致性
3	版面控制（Layout Control）	三种来源：手动指定、参考提取、智能体生成；确定性投影Π修正
4	引用条件面板渲染（Reference-Conditioned Rendering）	每面板使用单元特定引用进行渲染
5	页面合成（Page Composition）	按布局将面板合成到页面
6	文字植入（Lettering）	文字智能体添加对话气泡、旁白框等

两大关键设计

1. 故事单元记忆（Story Section Memory）

故事分解为故事单元 $s_{k} = (描述, 场景, 角色, 关键物品)$
每单元记忆 $M_{k} = (描述, R_{scene}, R_{char}, R_{obj}, 结构化档案)$
同一单元内的面板共享记忆 → 常驻角色/场景保持一致

2. 布局作为一等变量（Layout as First-Class Variable）

$L_{i} = {面板区域}$ — 显式几何变量
三种来源：手动规范、从现有漫画提取参考布局、智能体自动生成
确定性修正Π：检查面板数量、重叠、边界、空白区域
布局自我反思：布局智能体可自我批评并修正布局

渲染器无关设计

已测试渲染器：FLUX.2、Gemini 2.5 Flash Image
同一流水线，不同渲染器 → 不同视觉风格
解耦设计使得未来可轻松升级渲染器

评估

MangaGen-MetaBench 基准测试：评估布局可控性、视觉一致性、生成质量
在布局遵循度和跨面板一致性上显著优于直接生成方法

与 Creative LLM 系列的关系

R² (ICLR 2025): 小说 → 剧本（文本到文本，因果图驱动）
MangaFlow: 故事 → 漫画（文本到视觉，智能体流水线，布局控制）

相关链接