Skip to main content
Back to top
Ctrl
+
K
开始使用
概述
使用自定义的预训练数据集训练 (LLM)
快速上手
准备
准备预训练模型权重
准备对话模版
训练
修改训练配置
使用自定义的指令微调数据集训练(LLM)
使用自定义的预训练数据集训练 (LLM)
使用多模态数据集训练 (VLM)
使用开源数据集训练
可视化训练日志
加速训练
使用 DeepSpeed 加速训练
数据集拼接
使用 Flash Attention 加速训练
变长注意力 (Variable Length Flash Attention)
如何调整加速策略
基于数据长度分组的采样器
大规模数据集训练
序列并行：训练极长序列大模型的系统优化
速度基准
对话
语言模型对话
智能体模型对话
视觉-语言模型对话
使用 LMDeploy 优化推理速度
评测
训练过程中评测
MMLU (LLM)
MMBench (VLM)
使用 OpenCompass 评测
模型
已支持的模型
InternEvo 迁移
InternEvo 迁移
ftdp
使用 Processed 数据集训练 InternLM2
使用 Processed 数据集训练非 InternLM2 模型
使用 Processed 普通对话数据集训任意模型
使用 Tokenized 数据集训练 InternLM2
.md
.pdf
训练过程中评测
训练过程中评测
#
