小样本上,先看检测器一致率,而不是「谁抓得更多」

群聊常问:哪个 AI 写作检测器「抓得更多」。对本地复核团队更有用的问题是:两套工具在同一批匹配段落上多久达成一致,以及分歧对程序公正意味着什么。

本文只谈报告素养,不是产品评测,也不承诺改写后的分数。

为什么「标红更多」不是排行榜

检测器是在各自规则下对可计分连续散文做分类。更高的标红率可能只是更严阈值、不同分母或不同模型,并不等于更真的作者身份标签。跨工具百分比也不是同一把尺子。

小样本仍能练什么

  1. 条件来源已知(人写 / 锁定提示的模型稿 / 有日志的改写)。
  2. ≥2 个检测器当评分者,跑同一批文本。
  3. 主结果写一致率与 Cohen’s kappa——不要写成过检率。
  4. 披露提示词、模型、设置与利益冲突。

本地样本训练的是判读习惯,不能替代学校政策。

谈分歧时怎么说

若已决定改写,请对准匹配上传稿上的高亮连续散文。把 Turnitin / iThenticate 的 AI 报告导入后只改标红段、保留引用与格式,是 HumanPen 的窄任务;它不预测下一个数字。