为什么三值化 Lora分支要用signSGD训练，而不是采用三值化网络中使用的STE直通估计器+普通优化器？

[racoonykc]

这样做会带来什么好处吗？
有没有关于STE和t-signSGD的消融实验？
求问

[KingdalfGoodman]

准确的说是 LoTA分支 使用 t-SignSGD.

• t-SignSGD(选梯度最大的那部分更新) 和 SignSGD(按所有梯度的符号更新, 且使用 符号*学习率 更新) 的差异是很大的.

STE 直通估计器 + 普通优化器

• STE 在LoTQ-QAF也是被采用的(详见代码), 不然无法处理离散情况.
• 当时这样做, 就是想直接的, 在ternary网络上做更新. 做的过程中, 发现走SignSGD -> t-SignSGD, 优势是很大的(实际上一阶二阶动量都是不需要的).
• 最早的版本是用过普通优化器, 但在代码更迭中, 取消了. 选取了更精简的t-SignSGD(看一下代码就知道这个优化器目前相当干净).

More

• “STE + AdamW”的常见做法往往隐含一个连续的 shadow weight（用连续权重累积、再投影/量化到三值参与前向）。这在一般三值网络里可以工作，但在 LoTA 这种要求合并完全无损、且更新要严格贴着量化网格走的场景里，更容易引入“连续域累积—离散域投影”带来的不一致和抖动风险（尤其是 2-bit 网格很粗时）
• t-SignSGD的设计, 是降低了离散翻转噪声，让更新集中在更可靠的方向上. 并且, 更新天然稀疏(top-select).
• 没有做消融, 欢迎尝试! : )