tokenizer 有 2 种常用形式：WordPiece 和 BPE。

• WordPiece ：将所有的「常用字」和「常用词」都存到词表中，当需要切词的时候就从词表里面查找即可。 BERT 就使用的这种切词法。
  当遇到词表中不存在的字词时，tokenizer 会将其标记为特殊的字符 [UNK]

• Byte-level BPE（BBPE） ：按照 unicode 编码作为最小粒度。对于中文来讲，一个汉字是由 3 个 unicode 编码组成的（ LLaMA 的 tokenizer 对中文就是如此 ）
  能用unicode表示的汉字都可以训练，但模型需要通过充分学习来知道合法的 unicode 序列。当训练不充分则会出现乱码（不合法的 unicode 序列）

为了降低模型的训练难度，将一些常见的汉字 token 手动添加到原来的 tokenizer 中。

• Chinese LLaMA 在原始 tokenizer 上新增了17953 个 tokens，且加入 token 的大部分为汉字。
• BELLE 在 120w 行中文文本上训练出一个 5w 规模的 token 集合，并将这部分 token 集合与原来的 LLaMA
  词表做合并，最后再在 3.2B 的中文语料上对这部分新扩展的 token embedding 做二次预训练。

输入语料让大模型进行Next Token Prediction 任务

• 开源数据集可以用于实验，如果想突破性能，则需要我们自己进行数据集构建。
• 在 Finetune 任务中，我们通常会直接使用 truncation 将超过阈值（2048）的文本给截断，但在 Pretrain 任务中为了让模型充分提高语言的连贯能力，是将长文章按照 seq_len（2048）作分割，将切割后的向量喂给模型做训练。
• 对不同的数据源会选择不同采样比，相对较大的数据集会使用相对较大的采样比例，使得模型不会太偏向于规模较大的数据集，从而失去对规模小但作用大的数据集上的学习信息。

在继续预训练中，我们通常会使用 warmup 策略，此时我们按照 2 种不同情况划分：

1. 当训练资源充足时，应尽可能选择较大的学习率以更好的适配下游任务；
2. 当资源不充足时，更小的学习率和更长的预热步数或许是个更好的选择。