Skip to content

关于stage2的一些具体细节~ #23

@Feynman1999

Description

@Feynman1999

作者您好!直接用中文提问了哈~

Q0.想问下stage2是直接从头训练,没有load任何初始化参数吗?

Q1. 想问下关于这里提到的step,例如600,是对应到\sqrt(1 - 0.6**2) * Z + 0.6 * N(0,I)吗? 也就是线性的映射吗?如果不是,可以指教下具体的scheduler是怎样的吗?
Image

Q2. 会将step送入网络并加到timestep的embedding上,原文如下:

“To ensure the model can perceive the noise strength in the latent space, we introduce a noise strength embedding, which is added to
the time embedding”

这个embedding对结果影响大吗(例如对比完全不用)?直观感觉加法加到time embedding上可能信息会混淆

Q3. 有试过stage2使用lora训练吗?例如假设DEG(latent)对应 pretrain的T2V的模型的某个时间步,然后只sample 0~该时间步做微调?

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type
    No fields configured for issues without a type.

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions