DeepSpeed

DeepSpeed#

借助 DeepSpeed 中的 ZeRO 技术（零冗余优化器），可以大幅降低 LLM 训练所消耗的显存

如何选择 ZeRO 策略#

模型训练阶段，每张卡中显存占用可以分为两类：

模型状态

模型参数（fp16）、模型梯度（fp16）和 Adam 优化器状态（fp32 的模型参数备份，fp32 的 momentum 和 fp32 的 variance ）。 假设模型参数量 \(x\) ，则共需要 \(2x + 2x + (4x + 4x + 4x) = 16x\) 字节存储。

小技巧

全量微调时，每增加 1B 参数，需要增加 16GB 的显存来存储模型状态

剩余状态

除了模型状态之外的显存占用，包括激活值、各种临时缓冲区以及无法使用的显存碎片。

ZeRO 策略只优化模型状态显存占用， 从 ZeRO-1 到 ZeRO-3 优化等级越来越高。

  • ZeRO-1 策略针对优化器状态进行分片，模型参数和梯度仍旧是每张卡保持一份，此时，每张卡的模型状态所需显存是 \(4x + \frac{12x}{N}\) （ N 为 GPU 数目）

  • ZeRO-2 策略针对模型梯度进行分片，模型参数仍旧是每张卡保持一份，此时，每张卡的模型状态所需显存是 \(2x + \frac{14x}{N}\) （ N 为 GPU 数目）

  • ZeRO-3 策略针对模型参数进行分片，此时每张卡的模型状态所需显存是 \(\frac{16x}{N}\) （ N 为 GPU 数目）

小技巧

以 7B 模型 + 8 GPUs 全量微调为例:

  • ZeRO-1 模式下，每张卡上模型状态显存占用约为 \(2*7 + 2*7 + \frac{4*7 + 4*7 + 4*7}{8} = 38.5\) GB

  • ZeRO-2 模式下，每张卡上模型状态显存占用约为 \(2*7 + \frac{2*7 + 4*7 + 4*7 + 4*7}{8} = 26.25\) GB

  • ZeRO-3 模式下，每张卡上模型状态显存占用约为 \(\frac{2*7 + 2*7 + 4*7 + 4*7 + 4*7}{8} = 14\) GB

小技巧

由于不同的优化方案不会影响模型训练结果，因此在不会导致 OOM 的前提下，建议使用优化等级较低的 ZeRO 策略。

使用 ZeRO 策略训练#

XTuner 内置 ZeRO 配置#

XTuner 内置了五种 DeepSpeed ZeRO 配置：

  • deepspeed_zero1

  • deepspeed_zero2

  • deepspeed_zero2_offload

  • deepspeed_zero3

  • deepspeed_zero3_offload

可一键启动 DeepSpeed 进行训练，通过 --deepspeed 来选择不同的 ZeRO 配置：

$ # 以下命令根据需要任选其一
$ xtuner train xxx --deepspeed deepspeed_zero1
$ xtuner train xxx --deepspeed deepspeed_zero2
$ xtuner train xxx --deepspeed deepspeed_zero2_offload
$ xtuner train xxx --deepspeed deepspeed_zero3
$ xtuner train xxx --deepspeed deepspeed_zero3_offload

例如若想使用 DeepSpeed ZeRO2 显存优化算法运行 QLoRA 算法在 oasst1 数据集上微调 InternLM2-Chat-7B，可使用以下命令：

$ # single gpu
$ xtuner train internlm2_chat_7b_qlora_oasst1_e3 --deepspeed deepspeed_zero2
$ # multi gpus(torchrun)
$ NPROC_PER_NODE=${GPU_NUM} xtuner train internlm2_chat_7b_qlora_oasst1_e3 --deepspeed deepspeed_zero2
$ # multi gpus(slurm)
$ srun ${SRUN_ARGS} xtuner train internlm2_chat_7b_qlora_oasst1_e3 --launcher slurm --deepspeed deepspeed_zero2

自定义 ZeRO 配置#

可使用以下命令使用自定义 DeepSpeed 配置文件（需要是一个 json 文件）：

$ # single gpu
$ xtuner train internlm2_chat_7b_qlora_oasst1_e3 --deepspeed ${PATH_TO_DEEPSPEED_CONFIG}
$ # multi gpus(torchrun)
$ NPROC_PER_NODE=${GPU_NUM} xtuner train internlm2_chat_7b_qlora_oasst1_e3 --deepspeed ${PATH_TO_DEEPSPEED_CONFIG}
$ # multi gpus(slurm)
$ srun ${SRUN_ARGS} xtuner train internlm2_chat_7b_qlora_oasst1_e3 --launcher slurm --deepspeed ${PATH_TO_DEEPSPEED_CONFIG}

警告

DeepSpeed Config 中的 gradient_accumulation_steps 会被 XTuner config 中的 accumulative_counts 设置覆盖

警告

DeepSpeed Config 中的 train_micro_batch_size_per_gpu 会被 XTuner config 中的 train_dataloader.batch_size 设置覆盖

警告

DeepSpeed Config 中的 gradient_clipping 会被 XTuner config 中的 optim_wrapper.clip_grad.max_norm 设置覆盖

警告

XTuner 会根据所使用的 GPU 架构自动选择 fp16 或 bf16 训练，不受

目录