07_implementation.md - ppt-master

07_implementation.md

1	实现上有两个细节值得一提。第一是缩放:旁路的输出会乘上一个 alpha 除以 r 的系数,而 alpha 直接设成你尝试的第一个 r,之后就不再单独调它,这样变更秩的时候不用反复重调超参。第二是部署:上线时可以显式把 B 乘 A 合并进权重,得到一个和原模型完全同构的 W,所以不引入任何额外的推理延迟。要换任务也很简单,减掉当前的 BA,再加上另一个任务的 B 撇 A 撇就行,开销极小,非常适合多任务在线热插拔。

1 lines MARKDOWN