.. _prompt_template: 准备对话模版 ============ 大模型的微调、对话均需要选择一个合适的对话模版（prompt template）。 XTuner 设计了一套对话模版封装逻辑，并提供了一系列社区广泛使用的对话模版。 本文将从“何处需要对话模版？”、“XTuner 内置对话模版速览”、“如何选择对话模版？”、“如何自定义对话模版？”四部分展开介绍。 何处需要对话模版？ ------------------ :``xtuner train``: 需要使用对话模版将训练数据“模版化”，在训练 ``config`` 中配置 ``prompt_template`` 参数来选择对话模版 :``xtuner chat``: 需要使用对话模版将对话文本“模版化”，通过 ``xtuner chat`` 命令的 ``--prompt-template`` 参数选择对话模版 .. note:: 各种推理引擎也都会用到对话模板，每个框架定义对话模板的方式都不尽相同，但最终“模板化”后的数据都是相同的 .. tip:: 请确保在训练、对话和自定义应用场景中，始终保持对话模板的一致，否则可能会出现不符合预期的结果。 XTuner 内置对话模版速览 ----------------------- XTuner 对现有大多数大语言模型的对话模版进行了实现，并集成在 ``xtuner.utils.PROMPT_TEMPLATE`` 内，用户可以直接使用。 .. note:: XTuner 内置的对话模板清单可见文末附录 字段约定 ~~~~~~~~ 以 ``internlm2_chat`` 模版为例，其代码结构如下。 .. code:: python internlm2_chat=dict( SYSTEM='<|im_start|>system\n{system}<|im_end|>\n', INSTRUCTION=('<|im_start|>user\n{input}<|im_end|>\n' '<|im_start|>assistant\n'), SUFFIX='<|im_end|>', SUFFIX_AS_EOS=True, SEP='\n', STOP_WORDS=['<|im_end|>']), - ``SYSTEM``\ ：表示问答时“系统”字段的模版，其中 ``{system}`` 指代“系统”文本。值得注意的是，该字段在多轮对话中只会出现一次，即在第一轮。 - ``INSTRUCTION``\ ：表示问答时“指令”字段的模版，其中 ``{input}`` 指代用户指令文本。 - ``SUFFIX``\ ：表示“指令”字段的后缀，将会追加在每一轮问答的“回答”后面。通常，这也是一个特殊的结束符号。默认是空串\ ``''``\ 。 - ``SUFFIX_AS_EOS``\ ：表示上述后缀是否作为结束符号。如果为 ``True``\ ，则会取代 ``tokenizer`` 的 ``eos_token``\ ，否则，仍会使用 ``tokenizer`` 的 ``eos_token`` 表示结束符号。默认是 ``False``\ 。 - ``SEP``\ ：用于间隔多轮对话，将会追加在 ``INSTRUCTION`` 和 ``SUFFIX`` 后面。默认是空串\ ``''``\ 。 - ``STOP_WORDS``\ ：用于指明结束词，该信息将被用在文本生成阶段。值得注意的是，\ ``tokenizer`` 的 ``eos_token`` 会被自动添加到 ``STOP_WORDS``\ ，而无需手动配置。 模版化结果 ~~~~~~~~~~ 以 ``internlm2_chat`` 模版为例，其对应的单轮、多轮模版化结果如下。 **单轮** .. code:: <|im_start|>system 你是一个无害的 AI 助手<|im_end|> <|im_start|>user 你是谁？<|im_end|> <|im_start|>assistant 我是书生浦语。<|im_end|> **多轮** .. code:: <|im_start|>system 你是一个无害的 AI 助手<|im_end|> <|im_start|>user 你是谁？<|im_end|> <|im_start|>assistant 我是书生浦语。<|im_end|> <|im_start|>user 你的英文名字是什么？<|im_end|> <|im_start|>assistant InternLM<|im_end|> 如何选择对话模版？ ------------------ 选择准确的对话模版是训练、应用模型的关键。关于如何选择对话模版，我们建议： :微调 chat 模型: 使用模型所对应的对话模版，如 ``internlm2-chat`` 使用 ``internlm2_chat``\ 、\ ``Qwen-Chat`` 使用 ``qwen_chat``\ 。 :全量微调 base 模型: 任选对话模版，优先使用 chat 版模型所对应的对话模版 。 :LoRA 微调 base 模型: | 使用默认对话模版 ``default``\ 。这是由于 LoRA / QLoRA 微调默认会关闭 ``embed_tokens`` 和 ``lm_head`` 的训练，此时如果引入未学习过的特殊 token（如对话模版中的 ``<|im_start|>``\ ），则会影响模型的训练。 .. tip:: 通过修改 ``LoraConfig`` 可以引入 ``embed_tokens`` 和 ``lm_head`` 的训练（会增大显存需求），进而支持任选对话模版 .. code:: diff lora=dict( type=LoraConfig, r=64, lora_alpha=16, lora_dropout=0.1, bias='none', + modules_to_save=['embed_tokens', 'lm_head'] # 请确保与模型中所使用的参数名一致 task_type='CAUSAL_LM') .. tip:: 大多数的 base 模型所使用的 tokenizer 中不包含 chat 模型对话模板中所使用的特殊 token 编码（例如 `internlm2 chat `__ 和 `internlm2 base `__\ ）。因此，如果要微调 base 模型并配合使用 chat 版对话模版，需确保在 Config 中及后续全流程使用 chat 版模型的 tokenizer。Config 中修改 tokenizer 的方式为： .. code:: diff tokenizer = dict( type=AutoTokenizer.from_pretrained, - pretrained_model_name_or_path=pretrained_model_name_or_path, + pretrained_model_name_or_path='PATH_TO_CHAT_LLM_TOKENIZER', trust_remote_code=True, padding_side='right') 如何自定义对话模版？ -------------------- 如果 XTuner 所内置的对话模版不能满足实际需求，用户可以实现自定义的对话模版。 具体来说，可以在 `template.py `__ 的 ``PROMPT_TEMPLATE`` 中新增一个对话模版，并参考 “XTuner 内置对话模版速览” 章节对每个字段的描述进行自定义修改。 附：XTuner 内置 configs 所选择的对话模版 ---------------------------------------- .. note:: \*: 官方对话模版中存在特殊 token（比如 ``<|im_start|>``\ 、\ ``<|im_end|>``\ ），这类特殊 token 在预训练阶段并未得到训练。故，使用 ``default`` 模版。 ======================================== ============== 模型 对话模版 ======================================== ============== baichuan-inc/Baichuan-7B default\* baichuan-inc/Baichuan-13B-Base default\* baichuan-inc/Baichuan-13B-Chat baichuan_chat baichuan-inc/Baichuan2-7B-Base default\* baichuan-inc/Baichuan2-7B-Chat baichuan2_chat baichuan-inc/Baichuan2-13B-Base default\* baichuan-inc/Baichuan2-13B-Chat baichuan2_chat THUDM/chatglm2-6b chatglm2 THUDM/chatglm3-6b chatglm3 THUDM/chatglm3-6b-base chatglm3 deepseek-ai/deepseek-coder-6.7b-base deepseek_coder deepseek-ai/deepseek-coder-6.7b-instruct deepseek_coder internlm/internlm-7b default\* internlm/internlm-20b default\* internlm/internlm-chat-7b internlm_chat internlm/internlm-chat-20b internlm_chat huggyllama/llama-7b default meta-llama/Llama-2-7b-hf llama2_chat meta-llama/Llama-2-7b-chat-hf llama2_chat meta-llama/Llama-2-70b-hf llama2_chat lmsys/vicuna-7b-v1.5 vicuna lmsys/vicuna-13b-v1.5 vicuna mistralai/Mistral-7B-v0.1 mistral mistralai/Mixtral-8x7B-v0.1 mixtral mistralai/Mixtral-8x7B-Instruct-v0.1 mixtral Qwen/Qwen-1_8B default\* Qwen/Qwen-1_8B-Chat qwen_chat Qwen/Qwen-7B default\* Qwen/Qwen-7B-Chat qwen_chat Qwen/Qwen-72B default\* Qwen/Qwen-72B-Chat qwen_chat bigcode/starcoder default 01-ai/Yi-6B default 01-ai/Yi-34B default HuggingFaceH4/zephyr-7b-beta zephyr deepseek-ai/deepseek-moe-16b-base deepseek_moe deepseek-ai/deepseek-moe-16b-chat deepseek_moe internlm/internlm2-1_8b default\* internlm/internlm2-7b default\* internlm/internlm2-20b default\* internlm/internlm2-chat-1_8b internlm2_chat internlm/internlm2-chat-7b internlm2_chat internlm/internlm2-chat-20b internlm2_chat Qwen/Qwen1.5-0.5B default\* Qwen/Qwen1.5-0.5B-Chat qwen_chat Qwen/Qwen1.5-1.8B default\* Qwen/Qwen1.5-1.8B-Chat qwen_chat Qwen/Qwen1.5-4B default\* Qwen/Qwen1.5-4B-Chat qwen_chat Qwen/Qwen1.5-7B default\* Qwen/Qwen1.5-7B-Chat qwen_chat Qwen/Qwen1.5-14B default\* Qwen/Qwen1.5-14B-Chat qwen_chat Qwen/Qwen1.5-72B default\* Qwen/Qwen1.5-72B-Chat qwen_chat google/gemma-2b default\* google/gemma-2b-it gemma google/gemma-7b default\* google/gemma-7b-it gemma ======================================== ==============