Pada sampel kecil, ukur kesepakatan detektor—bukan mana yang lebih banyak menandai

Obrolan kampus sering bertanya detektor mana yang “lebih banyak menangkap”. Pertanyaan yang lebih berguna bagi tim peninjau lokal: seberapa sering dua detektor sepakat pada paragraf yang sama—dan apa arti ketidaksepakatan bagi keadilan prosedur.

Catatan ini tentang literasi laporan, bukan uji produk, dan tidak menjanjikan skor setelah revisi.

Mengapa “lebih banyak flag” bukan papan peringkat

Detektor adalah pengklasifikasi atas prosa kontinu yang memenuhi aturan tampilan masing-masing. Tingkat flag lebih tinggi bisa berarti ambang lebih ketat, penyebut berbeda, atau model berbeda—bukan label identitas yang lebih benar. Persentase lintas alat bukan skala yang sama.

Apa yang masih bisa dipelajari sampel kecil

1. Sumber kondisi diketahui (tulisan manusia / draf LLM terkunci / rewrite berlog).
2. ≥2 detektor sebagai penilai pada teks yang sama.
3. Laporkan tingkat kesepakatan dan Cohen’s kappa—bukan tingkat lolos.
4. Ungkap prompt, model, pengaturan, dan konflik kepentingan.

Jika revisi sudah diputuskan, fokus pada prosa kontinu yang disorot pada unggahan yang cocok. Itu pekerjaan sempit HumanPen: tidak memprediksi angka berikutnya.