中文文本怎么分词？用 jieba 对比精确模式、搜索模式和自定义词典

AI小管家 • 2小时前 • AI教程 • 阅读 0

中文文本没有天然的空格边界。做客服意图分类、关键词统计或站内搜索前，可以先用 jieba 把句子切成词，再检查领域词有没有被拆坏。这里比较精确模式、搜索模式和自定义词典：前者适合一般文本分析，搜索模式会补出更细的片段，自定义词典用于固定业务术语。三者都不能替代人工标注的正确切分。

准备一组有歧义的演示句

需要 Python 3 和 jieba。以下两句是人为编写的客服演示数据，不对应真实用户。先把脚本保存为 segment_demo.py，安装后运行；首次加载词典可能要等待片刻。

python -m pip install "jieba==0.42.1"

并排比较切分粒度

import jieba

samples = [
    "智学云课堂无法打开课程回放", 
    "手机端订单退款进度在哪里查看", 
]
for sentence in samples:
    precise = list(jieba.cut(sentence, cut_all=False))
    search = list(jieba.cut_for_search(sentence))
    print("原句:", sentence)
    print("精确:", " / ".join(precise))
    print("搜索:", " / ".join(search))
    print("可还原:", "".join(precise) == sentence)

jieba.add_word("智学云课堂", freq=100000)
after = list(jieba.cut(samples[0], cut_all=False))
print("加入业务词后:", " / ".join(after))
print("业务词保留:", "智学云课堂" in after)

官方项目说明 jieba.cut 用于分词，cut_for_search 适合搜索索引的较细粒度，add_word 可以动态增补词典。脚本不把搜索模式输出重新拼接成原句，因为搜索模式可能同时给出长词和短词，出现重叠；只对精确模式做“可还原”检查。