AI 语料读取报 UnicodeDecodeError 怎么办？定位编码错误并保留原始字节

AI 语料文件报 UnicodeDecodeError 时，先把文件作为原始字节读取，定位失败位置，再确认来源的导出编码。直接加 errors=”ignore” 会隐藏问题，后续训练或检索可能悄悄使用了缺失文本。下面同时演示编码不匹配、UTF-8 BOM 和坏字节三种情况。

先分清字节、字符和编码

文件保存的是字节，Python 文本是 Unicode 字符串。decode 按指定编码把字节转成字符串；UnicodeDecodeError.start 和 end 是原始字节序列中的零起始位置，区间为左闭右开，不能拿来当实体标注的字符位置。

UTF-8、GB18030 与 UTF-16 等编码不同。先查文件来源、导出设置或数据协议，再选择编码。某些 ASCII 内容用多种编码读取都不报错，也有错误编码产生合法但错误字符的情况；只凭异常消失不够验收。

环境与最小诊断样本

示例在 Windows、Python 3.11.15 的本地 CPU 环境实际运行。新建空文件夹，将后面完整代码保存为 03-utf8-diagnosis.py，在该目录用 PowerShell 执行：

python -m venv .venv
.\.venv\Scripts\python.exe 03-utf8-diagnosis.py

最后一行在保存代码后执行。macOS 或 Linux 使用 ./.venv/bin/python。输出文件留在当前目录，先用教学样本核对；代码不调用大模型 API，也不修改你的原始业务文件。

代码只使用 Python 标准库。它生成三个教学文件，并记录字节数与 SHA-256，便于确认诊断没有覆盖输入。known_gb18030.txt 的编码在生成时明确，才能展示按已知编码重新读取；这不表示任意坏文件都该改成 GB18030。

完整代码：记录失败区间，保留原字节

把完整代码保存为 03-utf8-diagnosis.py 后运行，查看报错字节区间和十六进制片段，再打开 encoding_report.json；处理真实文件时，把生成示例的部分换成 read_bytes，保留原文件副本。

from pathlib import Path
import codecs, hashlib, json

fixtures = {
    'known_gb18030.txt': '模型训练'.encode('gb18030'),
    'utf8_bom.txt': codecs.BOM_UTF8+'模型训练'.encode('utf-8'),
    'corrupt_utf8.txt': '模型'.encode('utf-8')+b'\xff'+'训练'.encode('utf-8'),
}
reports=[]
for name, raw in fixtures.items():
    path=Path(name); path.write_bytes(raw)
    row={'file':name, 'sha256':hashlib.sha256(raw).hexdigest(), 'bytes':len(raw)}
    try:
        text=raw.decode('utf-8',errors='strict')
        print(name,'UTF8_OK','leading_bom=',text.startswith('\ufeff'))
        row['utf8']='ok'
    except UnicodeDecodeError as err:
        row.update(utf8='failed',start=err.start,end=err.end,reason=err.reason)
        print(name,'UTF8_ERROR','byte_range=',(err.start,err.end),
              'nearby_hex=',raw[max(0,err.start-4):err.end+4].hex())
    reports.append(row)
# 演示文件来源明确，因此可以选择已知编码；实际文件应先查导出设置。
print('confirmed GB18030:', Path('known_gb18030.txt').read_bytes().decode('gb18030'))
print('BOM handled:', Path('utf8_bom.txt').read_bytes().decode('utf-8-sig'))
bad=Path('corrupt_utf8.txt').read_bytes()
print('replace:',bad.decode('utf-8',errors='replace'))
print('ignore:',bad.decode('utf-8',errors='ignore'))
assert bad == fixtures['corrupt_utf8.txt']  # 原始输入没有被覆盖。
Path('encoding_report.json').write_text(json.dumps(reports,ensure_ascii=False,indent=2),encoding='utf-8')
print('saved encoding_report.json')

实际输出和三种处理结果

known_gb18030.txt UTF8_ERROR byte_range= (2, 3) nearby_hex= c4a3d0cdd1b5c1
utf8_bom.txt UTF8_OK leading_bom= True
corrupt_utf8.txt UTF8_ERROR byte_range= (6, 7) nearby_hex= a1e59e8bffe8aeade7
confirmed GB18030: 模型训练
BOM handled: 模型训练
replace: 模型�训练
ignore: 模型训练
saved encoding_report.json

GB18030 示例作为 UTF-8 读取时在字节区间 (2, 3) 报错；含损坏字节的 UTF-8 示例在 (6, 7) 报错。BOM 示例可以解码，但 leading_bom 为 True，改用 utf-8-sig 后开头签名被去掉。

UTF-8 BOM 的字节签名为 EF BB BF。utf-8 会把它解码成开头的 U+FEFF，utf-8-sig 则在文件开头识别并跳过这个签名。文本看起来一样，隐藏签名仍可能影响第一列名或首个词；不要把文件中任意 U+FEFF 都无条件删掉。

损坏示例使用 replace 显示“模型�训练”，保留了异常位置的提示；ignore 显示“模型训练”，却抹去了输入异常。两者都没有找回坏字节原来代表的真实信息。将这些结果送入训练前，应决定拒收、隔离或回到来源重新导出，并记录处理原因。

真实语料怎么修复和验收

能用某种编码解码成功，只能说明字节序列可被该解码器接受，不能证明文本含义正确。未经来源确认，不应把试出来的编码当成自动修复结论。

来源确认编码后，读取原文件并写到新的 UTF-8 文件；回读检查关键字段、行数、编号和业务文本，不覆盖原字节。编码不明或文件截断时，把失败范围和来源信息保存在隔离记录中，先联系数据来源确认，不能凭缺字后的可读片段认定修好。

大文件可以分块诊断，但多字节字符可能跨块，不能对每个任意字节块独立 decode 后把跨边界错误当成文件损坏。使用文本流或增量解码器保持解码状态。本例读取的是很小的教学文件，没有实现大文件恢复和自动编码识别。

完成修复后再解析 JSONL、CSV 或字幕格式。编码正确与结构正确属于两次检查；一个 UTF-8 文本仍可能含格式错误、错字段或不相关内容。

官方资料与核对范围

资料读取日期为 2026 年 10 月 1 日。接口行为依照以下官方文档或项目说明核对，输出来自上述本地教学代码。

• Python codecs：严格解码、错误处理、UTF-8 BOM与增量解码行为。