scaled_learned_stochastic:
scaled:在量化前后会做比例缩放(scale factor),减少溢出和精度损失。
learned:量化缩放参数或分桶范围是在训练中学得的,而不是静态计算。
stochastic:量化时加入随机性(stochastic rounding 或随机抖动),在推理阶段有助于减轻量化误差的偏差模式。
特点:这种方法通常在生成类任务中可以保持更高的多样性,有时输出会更“活”,但稳定性和可重复性略低于 SVD 方案。
scaled_learned_stochastic:
scaled:在量化前后会做比例缩放(scale factor),减少溢出和精度损失。
learned:量化缩放参数或分桶范围是在训练中学得的,而不是静态计算。
stochastic:量化时加入随机性(stochastic rounding 或随机抖动),在推理阶段有助于减轻量化误差的偏差模式。
特点:这种方法通常在生成类任务中可以保持更高的多样性,有时输出会更“活”,但稳定性和可重复性略低于 SVD 方案。