13_gpt3.md - ppt-master

13_gpt3.md

1	真正的压力测试是 GPT-3 一千七百五十亿参数,结论依然成立。这里有四个关键数字:可训练参数缩减了约一万倍,检查点从三百五十个 GB 降到三十五个 MB;训练显存从一点二个 TB 降到三百五十个 GB,大约三分之一;训练吞吐还提升了约百分之二十五,因为绝大多数参数不需要算梯度;而在 WikiSQL、MNLI、SAMSum 三个任务上,准确率都达到或超过了全量微调。效率和质量,这次真的可以兼得。

1 lines MARKDOWN