AI 辅助数据标注可以先让模型给出“预标注”,再由人复核并提交正式标注。以客服文本分类为例,Label Studio 支持把预测结果随任务一起导入;预测只是建议,复核后的 annotations 才是准备导出的人工结果。本文给出一条能用小样本验证的流程,不把模型建议直接当成训练真值。
先定义任务和标签边界
假设要把客服消息分成“咨询”“投诉”“表扬”。这是演示数据,不代表真实客服样本。先写一条简单规则:询问产品用法归“咨询”;明确表达不满或要求处理问题归“投诉”;明确称赞服务归“表扬”。同时出现两种意图时先标记争议,交给人工决定主标签,不让模型凭感觉改规则。

在 Label Studio 建立文本分类项目,设置文本对象名为 text,单选控件名为 intent。例如:
<View>
<Text name="text" value="$text" />
<Choices name="intent" toName="text" choice="single">
<Choice value="咨询" />
<Choice value="投诉" />
<Choice value="表扬" />
</Choices>
</View>
Choices 标签文档说明了单选标签控件;项目中的对象名、控件名和标签值后面必须与导入 JSON 一致。不要在标注中途随意改标签名称,否则新旧结果不易比较。
先让模型提出建议,再导入预标注
选一条无个人信息的样本,用你已获准使用的 AI 工具提出候选标签。提示词可以直接复制并替换最后的文本:
任务:将客服消息归为“咨询”“投诉”“表扬”之一。
规则:询问使用方法归咨询;明确表达不满或要求处理问题归投诉;明确称赞归表扬。
如果同时符合多类或信息不足,返回“待人工判断”。
只返回一个标签,不补充解释。
文本:请问如何修改收货地址?
演示中假设模型返回“咨询”;这不是本文调用某个模型得到的实测输出。若返回“待人工判断”或不在标签表中的词,先人工处理,不要强行转换成某一类。真实客服文本在发送到外部模型前应先脱敏,并确认所用服务符合你的数据使用要求。
把模型给出的候选标签和原始文本写入 UTF-8 JSON 文件,再通过项目的导入入口上传。下面的 example-v1 只是示例版本名:
[
{
"data": {"text": "请问如何修改收货地址?"},
"predictions": [
{
"model_version": "example-v1",
"result": [
{
"from_name": "intent",
"to_name": "text",
"type": "choices",
"value": {"choices": ["咨询"]}
}
]
}
]
}
]
Label Studio 的预标注导入文档要求任务含 data 和 predictions,并要求预测结果与项目配置匹配。上例的 data.text 对应 $text,from_name=intent 对应选择控件,to_name=text 对应文本对象。若预标注未显示,先核对这三个名称以及项目中是否开启显示预测,不要急着重跑模型。
人工复核后再导出
- 打开导入任务,阅读原文和建议标签;对照事先写好的规则判断。
- 如果建议错误,把它改成正确标签后提交正式标注。官方文档指出,
predictions本身是只读的;必要时先将预测复制成待编辑的标注,再修改并提交。 - 做一小批包含普通样本和争议样本的复核,记录错误类型。例如“请问为什么迟迟不发货”可能同时含询问和投诉,应按团队规则裁决。
- 从项目中导出 JSON,检查任务是否含提交后的
annotations,并抽查标签值与原文相符。Label Studio 的导出文档说明可在项目中导出标注。
验收时至少确认:导入的任务数与文件相符;预标注可见;人工更改后的正式标注能在导出文件中找到。只看到预测而没有人工提交结果,不能宣称标注已经完成。模型建议的准确率需要用独立抽样和明确规则计算,本文没有运行模型,也没有给出虚构准确率。
常见问答
预标注正确,能跳过人工复核吗?
如果数据将用于训练或评估,至少需要按风险和样本分布设计抽检;重要或高风险样本应提高复核强度。预测结果是候选标签,不自动等同于可信真值。
导入后标签不出现,先检查什么?
先检查项目配置的 name、toName 和标签值是否与 JSON 中的 from_name、to_name、choices 一致,再检查显示预测的项目设置。重新导入前先用一条任务排错,避免产生重复记录。
如果还在选择标注工具,可先看本站的Label Studio、CVAT 与 Argilla 选型文章;本文只演示选定 Label Studio 后的文本分类流程。界面位置会随版本变化,请以文中官方链接和当前安装版本为准。
Ai菜鸟网。发布者:AI小管家,转载请注明出处:https://www.alyyhw.com/29742.html