AI 文本怎么训练分词器？用 SentencePiece 生成模型并验证编码解码

要为自己的文本模型建立词元映射，可以用 SentencePiece 从原始句子训练 BPE 分词器，再把文本编码成整数 ID。这个任务产生的是分词模型和词表；它不会直接训练一个能问答的语言模型，也不能把新词表直接替换进已有大模型。

下面用人为撰写的十二行中文语料演示完整流程，已在 Windows、Python 3.11.15、sentencepiece 0.2.2 的 CPU 环境运行。小语料用于检查训练和编码链路，不代表领域覆盖率或下游模型效果。

先准备独立语料和词元规则

项目 README说明，SentencePiece 支持直接从原始文本学习 BPE 或 Unigram 子词，不要求预先按自然语言词语插入空格。它的词元边界服务于数值序列建模，可能与中文词义切分不同；如果你的任务是搜索分词，不应默认两者的词边界可以互换。

演示选择 BPE、目标词表 180、字符覆盖率 1.0，并关闭硬词表上限。这里还显式使用 identity 归一化规则：不执行默认的 Unicode NFKC 类归一化。它是本例的实验设置，真实语料需要先冻结全角字符、大小写、空格与控制字符的处理规则。

训练参数说明列出这些配置；hard_vocab_limit=False 允许小语料达不到目标词表大小时缩小输出词表，无法解决“目标词表小于必需字符与特殊符号数量”的问题。

在空目录建立 Python 环境，安装 sentencepiece==0.2.2。把下面完整代码保存为 train_tokenizer.py，运行 python train_tokenizer.py。它会写入 corpus.txt、demo_bpe.model 和 demo_bpe.vocab。

from pathlib import Path
import sentencepiece as spm

sentences = [
    '小模型也需要规范的训练语料。', '分词器把原始文本变成词元编号。',
    '同一个模型文件保持相同的词元映射。', '训练之前要核对文本的来源和许可。',
    '训练语料和评测语料应该分开保存。', '中文文本不需要先用空格分隔每个词。',
    '我们检查编码结果和解码结果。', '新增领域文本需要检查未知词元。',
    '清洗文本时保留原始文件和处理规则。', '小词表只用于演示训练流程。',
    '序列模型接收词元编号并学习语言规律。', '生成的词表不能随意替换已有模型词表。'
]
Path('corpus.txt').write_text('\n'.join(sentences) + '\n', encoding='utf-8')
spm.SentencePieceTrainer.train(input='corpus.txt', model_prefix='demo_bpe',
                             model_type='bpe', vocab_size=180,
                             character_coverage=1.0, hard_vocab_limit=False,
                             normalization_rule_name='identity')
processor = spm.SentencePieceProcessor(model_file='demo_bpe.model')
text = sentences[0]
pieces = processor.encode(text, out_type=str)
ids = processor.encode(text, out_type=int)
recovered = processor.decode(ids)
assert recovered == text
assert processor.unk_id() not in ids
reloaded = spm.SentencePieceProcessor(model_file='demo_bpe.model')
assert reloaded.encode(text, out_type=int) == ids
unknown = processor.encode('🧬', out_type=int)
assert processor.unk_id() in unknown
print('corpus_lines:', len(sentences))
print('actual_vocab_size:', processor.vocab_size())
print('pieces:', pieces)
print('ids:', ids)
print('decoded:', recovered)
print('reload_consistent:', True)
print('unseen_emoji_contains_unk:', True)
print('created: demo_bpe.model, demo_bpe.vocab')

本地运行输出

corpus_lines: 12
actual_vocab_size: 180
pieces: ['▁小', '模型', '也需要', '规', '范的', '训练', '语料', '。']
ids: [10, 4, 71, 94, 61, 5, 8, 76]
decoded: 小模型也需要规范的训练语料。
reload_consistent: True
unseen_emoji_contains_unk: True
created: demo_bpe.model, demo_bpe.vocab

编码解码结果怎样验收

本文实际生成 180 个词元。第一条句子的词元为 ▁小、模型、也需要、规、范的、训练、语料、。；ID 为 [10, 4, 71, 94, 61, 5, 8, 76]。从这些 ID 解码后，得到原句“小模型也需要规范的训练语料。”，重新读取同一个模型文件后 ID 完全一致。

Python 接口文档展示训练、加载与编码解码用法。词元前的 ▁ 是空白标记，不是中文下划线，也不应从词表中随意删除。ID 只在当前模型文件的映射中有意义，换一份分词模型后，同一个整数可能表示完全不同的词元。

本例未启用 byte fallback；把语料中没有的 🧬 编码后会出现 unk ID。未知字符出现时，解码不保证恢复原字符。应另外抽取未参与训练的代表文本，统计未知词元、序列长度与异常字符，再决定扩充语料、调整覆盖率或是否采用字节回退。

接入训练程序前保留什么

1. 保存模型文件、词表、语料来源、许可和训练参数；模型文件是后续编码的标准源。
2. 冻结特殊符号 ID 及其语义，确保训练数据、模型嵌入层和推理分词器使用同一映射。
3. 把评测语料单独保存；不要用本例的已见句子还原成功来宣称分词器覆盖了所有输入。
4. 比较领域文本编码长度时，固定清洗和归一化规则，避免把预处理差异当成分词器提升。

若默认归一化报出 charsmap 找不到，先核对安装版本、包数据目录和文件路径。在本次含中文路径的环境，默认 nmt_nfkc 规则载入失败，显式 identity 后完成训练；选择 identity 会改变文本归一化语义，不能仅为消除报错而混用已有模型的规则。

能换进已经训练好的大模型吗？

通常不能直接替换。已有模型的嵌入与输出层已经绑定原词元 ID；新词表改变映射后，原权重不再对应原含义。本例适合学习自建文本训练链路，或明确支持重新配置词表的模型实验。