Offline evaluation report · 2026-09-04

3D 白模动作参考,如何生成更好的角色视频?

将同一类 3D 舞蹈动作放进 Wan-Animate-2 Base、SCAIL-2 与 MiniMax H3 Ref2VA,集中比较动作忠实度、人物与舞台稳定性、推理成本,以及 A–G 七种白模渲染策略。

同动作三栏对照:原始 3D / Wan Base 40-step / SCAIL-2 40-step

统一为 16fps、5秒和同一音轨。SCAIL 原始结果为77帧,对照版只克隆末帧补齐到80帧,没有修改已有生成帧。

统一使用的女性舞者和舞台参考图

统一外观参考

黑紫银演出服、高马尾、蓝紫霓虹舞台、固定正面全身构图。

动作表现:Wan幅度、头发动态和舞台光效更有表现力;快速帧会更糊。
人物稳定:SCAIL-2人物轮廓、服装锐度与舞台几何更稳;动作略偏收敛。
白模默认:E浅灰哑光人模 + 低频地板 + 平衡主辅光 + 固定世界相机。

三条技术路径并不等价

3D 动作147D / BVH / FBX
→
白模渲染材质、背景、地板、相机
→
条件编码RGB / mask / 软参考
→
角色视频身份、服装、舞台、动作

Wan-Animate-2 Base

参考图 + 驱动视频Base 40-step
  • 直接消费驱动视频,动作迁移路径短。
  • 本样例动作幅度与动态表现最好。
  • 2×H200 墙钟更快,但 GPU 总用量更高。

SCAIL-2

参考图/视频 + 双 maskUniPC 40-step
  • 显式 mask 更利于人物/背景条件分离。
  • 本样例人物与服装更锐利、舞台更稳定。
  • 单卡更省 GPU·小时,但墙钟时间较长。

MiniMax H3 Ref2VA

角色图 + 参考视频语义动作参考
  • 适合角色化、舞台化和同步音频生成。
  • 不是逐帧骨骼控制,动作会被重新解释。
  • 长窗口中,参考视频背景可能逐渐泄漏。

Wan Animate 2 vs SCAIL-2:同任务实测

指标Wan-Animate-2 BaseSCAIL-2解释
正式配置BF16 Base,40 steps,CFG 3.0UniPC,40 steps,shift 3.0,CFG 5.0均采用各自高质量路径
GPU2×H2001×H200不能只看墙钟时间
冷启动总耗时489.065 s
738.969 s
Wan 墙钟快约 1.51×
40-step 纯去噪271 s / 6.79 s·step⁻¹486 s / 12.17 s·step⁻¹Wan 墙钟快约 1.79×
冷启动 GPU·小时0.2720.205SCAIL 少约 24.5%
额外预处理无单独 mask 阶段44.634 sSCAIL mask 可缓存复用
原始输出824×464,16fps,80帧,5.0s832×480,16fps,77帧,4.8125sSCAIL 遵循 VAE 时间长度约束

Wan-Animate-2 Base · 40 steps

动作更放开,头发与灯光动态更强;高速姿态的运动模糊更明显。

SCAIL-2 · 40 steps

已补齐到5秒并复用原音轨;人物轮廓与舞台更稳,动作幅度稍保守。

Wan 与 SCAIL 时间点对照联系表

画质结论来自这一段 5 秒样例的播放与抽帧检查,不是统计性模型排名。

白模动作参考 A–G:什么样的渲染更有效?

A–G 使用同一段5秒动作、同一角色图、同一 H3 prompt、同一 seed;只改变白模材质、背景、地板、灯光和相机。所有 root payload 数值保持不变。

A · 棋盘格 + 跟随相机

7.4 / 10

动作可辨,但高频棋盘格污染视觉;相机跟随会抵消 root 位移。

B · 浅灰人模 + 深灰背景

8.1 / 10

轮廓更干净,但跟随相机仍弱化角色在世界中的平移。

C · 浅灰人模 + 固定相机

8.8 / 10

躯干朝向清楚,并保留原始 root 空间位移;无地板版本首选。

D · 深炭剪影 + 固定相机

7.7 / 10

外轮廓强,但身体内部体块和前后肢关系丢失。

E · 灰模 + 地板 + 平衡光

9.1 / 10

默认推荐脚底接触、体块、关节转折和 root 位移同时可读。

F · 灰模 + 地板 + 柔光

8.8 / 10

更亮但偏平,快速动作中的身体朝向不如 E 清楚。

G · 浅灰人模 + 纯白背景

8.2 / 10

不建议默认手指、脚踝和身体边缘对比下降。

黑底灰模 · 15秒

长窗更稳

没有白背景污染舞台;适合验证 H3 长时参考的背景泄漏问题。

A–D:材质、背景与相机

参考视频 2×2

左上 A,右上 B,左下 C,右下 D。

对应 H3 输出 2×2

C 在保留空间位移与完整全身之间最平衡。

E–F:地板与灯光

参考 E / F

左侧 E 为平衡主辅光;右侧 F 为更均匀柔光。

H3 输出 E / F

生成结果差距不大;E 的优势主要是参考动作本身更容易读。

E 灰模参考与 H3 输出时间对齐对照

C–G:深灰背景 vs 纯白背景

参考 C / G

纯白底没有让人模消失,但显著压低浅灰人模边缘对比。

H3 输出 C / G

G 可以生成,但动作还原没有超过 C,因此不应作为默认输入。

G 白底灰模参考与 H3 输出时间对齐对照

8秒受控复测:A 棋盘跟随 vs 黑底灰模固定相机

使用“新宝岛”源动作前8秒,并固定角色图、舞台图、prompt、seed 269052、时长和推理参数;唯一变化是动作参考的渲染。四宫格中左上为 A 参考、右上为黑底灰模参考、左下为 A 输出、右下为黑底灰模输出。

同动作、同角色舞台、同 seed 的同步对比

两组输出均为 1344×768、24fps、192帧、8.000秒。A 纯推理 648.222 秒;黑底灰模 647.811 秒,速度无实质差异。

观察项A · 棋盘格 + 跟随相机黑底灰模 · 固定世界相机
动作一致性动作可辨,但部分抬臂与手臂方向被平滑,存在轻微时序偏移。更好。抬臂、抱头及中后段上肢姿态在抽帧中更贴近参考。
舞台保持紫蓝舞台完整,8秒内没有棋盘格渗入;个别画面略亮。紫蓝舞台同样完整,没有退化为黑底;构图与灯光稳定。
人物完整性全身基本可见,身份与服装稳定。全身基本可见,身份与服装稳定。
本轮选择不作为两者中的首选。若只在 A 与黑底方案中二选一,优先黑底灰模。
本轮结论:黑底灰模的主要优势是动作条件更干净、世界位移与肢体方向更容易读取;舞台生成质量与 A 基本打平。该结论来自单一动作和单 seed,不替代此前对 E/C 的独立比较。

15 秒长窗口:白背景为什么会污染舞台?

关键观察:H3 Ref2VA 把参考视频当作完整 RGB 软条件,而不是“只读取动作”的硬控制。15 秒纯白背景逐帧输入后,角色图的舞台约束在中后段变弱,输出逐渐被白背景覆盖。

纯白背景灰模 · 15秒参考

连续的大面积白色条件会与目标紫蓝舞台发生竞争。

纯白参考对应 H3 结果

前半段尚稳定,中后段出现白背景渗入、构图拉近和局部裁切。

灰色人模 + 绝对纯黑背景 · 15秒

上方为黑底动作参考,下方为对应 H3 生成结果。舞台全程保持稳定,没有退化为纯白或纯黑;人物基本保持完整全身。1344×768、24fps、15.083秒,纯推理约1764秒。

不要把“黑底”理解成所有场景下的绝对最优。5秒短动作中,E 的地板与平衡光能提供更完整的接触和体块信息;15秒长窗口中,纯黑背景更主要的价值是降低背景泄漏。生产流程仍建议拆成4–8秒短段,并在每段重新注入角色与舞台。

最终推荐:按模型选择白模输入

模型推荐输入最需要避免适合目标
Wan-Animate-2E 或 C;固定世界相机、全身、清晰体块跟随相机抵消 root、密集棋盘格、裁脚更强动作表现与直接驱动
SCAIL-2E/C 驱动视频 + 正确 reference/driving maskmask 语义错误、未统一 fps、前景边界不清清晰人物、稳定舞台与显式区域控制
MiniMax H3短段默认 E;长窗优先黑/深灰低信息背景长时纯白背景、复杂 RGB 场景、期待逐帧复刻语义动作迁移、角色化舞台和同步音频

推荐白模规范

实验可比性与限制
Wan/SCAIL 是同一5秒任务的直接对比;H3 A–G 是另一组同参白模消融。H3 使用4×H200、50步、1344×768,速度口径为纯推理;不能把它与 Wan/SCAIL 的冷启动时间直接排名。A–G 分数来自单样例同步播放和抽帧人工观察,不是自动姿态误差。
可复现关键参数
Wan:Base BF16,40 steps,CFG 3.0,seed 252503。SCAIL:UniPC,40 steps,shift 3.0,CFG 5.0,seed 252503。H3 A–G:Ref2VA,50 steps,Lossless,flow shift 12,audio flow shift 3,seed 269031;输出均为1344×768、24fps、124帧。