小樣本上,先看檢測器一致率,而不是「誰抓得比較多」

社團常問:哪個 AI 寫作檢測器「抓得比較多」。對本地覆核團隊更有用的問題是:兩套工具在同一批匹配段落上多久達成一致,以及分歧對程序公正意味著什麼。

本文只談報告素養,不是產品評測,也不承諾改寫後的分數。

為什麼「標紅比較多」不是排行榜

檢測器是在各自規則下對可計分連續散文做分類。更高的標紅率可能只是更嚴閾值、不同分母或不同模型,並不等於更真的作者身分標籤。跨工具百分比也不是同一把尺。

小樣本仍能練什麼

  1. 條件來源已知(人寫/鎖定提示的模型稿/有日誌的改寫)。
  2. ≥2 個檢測器當評分者,跑同一批文本。
  3. 主結果寫一致率與 Cohen’s kappa——不要寫成過檢率。
  4. 揭露提示詞、模型、設定與利益衝突。

本地樣本訓練的是判讀習慣,不能取代學校政策。

若已決定改寫,請對準匹配上傳稿上的高亮連續散文。HumanPen 只做文件級、保留引用格式的窄改寫,不預測下一個數字。