欢迎来到 XTuner 的中文文档# LLM 一站式工具箱 Star Watch Fork 文档# 开始使用 概述 什么是 XTuner ？ XTuner 的工作流程 XTuner 的核心模块 XTuner 当前支持的模型、数据集及微调方法 使用自定义的预训练数据集训练 (LLM) 数据准备 训练 对话 模型合并（可选） 评测 快速上手 准备模型权重 准备微调数据集 准备配置文件 修改配置文件 启动微调 模型转换 + LoRA 合并 与模型对话 准备 准备预训练模型权重 [推荐] 方法 1：利用 snapshot_download 方法 2：利用 Git LFS 方法 3：利用 AutoModelForCausalLM.from_pretrained 准备对话模版 何处需要对话模版？ XTuner 内置对话模版速览 如何选择对话模版？ 如何自定义对话模版？ 附：XTuner 内置 configs 所选择的对话模版 训练 修改训练配置 配置文件速览 常见训练配置修改 使用自定义的指令微调数据集训练(LLM) 数据准备 训练 对话 模型合并（可选） 评测 使用自定义的预训练数据集训练 (LLM) 数据准备 训练 对话 模型合并（可选） 评测 使用多模态数据集训练 (VLM) 数据准备 训练 对话 评测 FAQ 使用开源数据集训练 适配开源数据集 训练 模型转换 模型合并（可选） 对话 可视化训练日志 TensorBoard WandB 加速训练 使用 DeepSpeed 加速训练 使用 XTuner 提供的 DeepSpeed 配置 使用自定义的 DeepSpeed 配置 数据集拼接 简介 在 XTuner 中使用数据拼接 使用 Flash Attention 加速训练 变长注意力 (Variable Length Flash Attention) 简介 XTuner 变长注意力支持情况 在 XTuner 中使用变长注意力机制 如何调整加速策略 max_length, pack_to_max_length, use_varlen_attn 和 max_position_embeddings sequence_parallel_size 和 accumulative_counts 基于数据长度分组的采样器 在 XTuner 中使用 基于数据长度分组的采样器 大规模数据集训练 在线数据处理 离线数据处理 序列并行：训练极长序列大模型的系统优化 关键特性 并行策略简介 实现方案 XTuner 序列并行支持情况 使用 XTuner 进行序列并行训练 序列并行 API 抽象 速度基准 硬件 软件环境 速度 对话 语言模型对话 智能体模型对话 视觉-语言模型对话 使用 LMDeploy 优化推理速度 评测 训练过程中评测 MMLU (LLM) MMBench (VLM) 使用 OpenCompass 评测 模型 已支持的模型 InternEvo 迁移 InternEvo 迁移 总览 适配 ftdp 使用 Processed 数据集训练 InternLM2 Step 1, 离线处理数据集 Step 2, 导出模板 config 文件 Step 3, 修改模板 config 文件 Step 4, 获取数据顺序 （可选） Step 5, 启动训练 Step 6, 转模型 Step 7，Turbomind 评测 使用 Processed 数据集训练非 InternLM2 模型 Step 1, 离线处理数据集 Step 2, 导出模板 config 文件 Step 3, 修改模板 config 文件 Step 4, 获取数据顺序 （可选） Step 5, 启动训练 Step 6, 转模型 Step 7，Turbomind 评测 使用 Processed 普通对话数据集训任意模型 Step 1, 导出模板 config 文件 Step 2, 修改模板 config 文件 Step 3, 获取数据顺序 （可选） Step 4, 启动训练 Step 5, 转模型 使用 Tokenized 数据集训练 InternLM2 Step 1, 导出模板 config 文件 Step 2, 修改模板 config 文件 Step 3, 获取数据顺序 （可选） Step 4, 启动训练 Step 5, 转模型 Step 6，Turbomind 评测
