Perplexity: seberapa mengejutkan setiap kata

Perplexity mengukur seberapa baik model bahasa bisa menebak kata berikutnya. Teks buatan AI cenderung punya perplexity rendah, karena model yang menulisnya memilih kata-kata yang paling mungkin. Tulisan manusia biasanya punya perplexity lebih tinggi: pilihan kata yang tidak biasa, ungkapan, lelucon, salah ketik.

Di sinilah kelemahan utamanya. Tulisan manusia yang sederhana, formal, atau bergaya buku pelajaran juga bisa punya perplexity rendah, dan ikut ditandai dengan alasan yang sama.

Burstiness: seberapa berubah ritmenya

Burstiness melihat variasi di sepanjang dokumen. Manusia menulis satu kalimat panjang, lalu yang pendek. Paragraf yang padat diikuti paragraf yang ringan. Model AI cenderung menjaga ritme yang stabil.

Detektor menggabungkan kedua ukuran ini. Teks dengan perplexity rendah dan burstiness rendah paling terlihat seperti buatan mesin.

Hasil deteksi AI menunjukkan 72% terdeteksi AI untuk paragraf tentang strategi keluar sebuah toko roti

Coba dengan teksmu sendiri

Tempel satu paragraf dan lihat skor AI-nya sebelum dan sesudah.

Cek AI paragraf apa pun dalam satu ketukan. Tangkapan layar menampilkan antarmuka berbahasa Inggris.

Unduh di App Store

Classifier yang dilatih dengan contoh

Sebagian besar detektor komersial, termasuk Turnitin, GPTZero, dan Copyleaks, melangkah lebih jauh dengan melatih classifier memakai kumpulan besar tulisan manusia dan AI yang sudah diberi label. Classifier mempelajari pola di luar perplexity, seperti frasa favorit dan struktur paragraf.

Hasilnya, detektor lebih bagus pada jenis teks yang dipakai untuk melatihnya dan lebih buruk pada apa pun yang berbeda: model baru, bahasa lain, tulisan teknis, atau tulisan orang yang memakai bahasa kedua.

Kenapa detektor AI tidak bisa diandalkan

Deteksi selalu mengejar target yang bergerak. Setiap model baru menulis dengan cara berbeda, dan detektor harus menyusul. Editing juga mengaburkan sinyalnya: begitu seseorang menulis ulang sebagian draf AI, teks itu benar-benar campuran.

Masalah yang lebih besar adalah salah deteksi. Studi Stanford tahun 2023 menemukan tujuh detektor salah mengklasifikasikan lebih dari separuh kumpulan esai TOEFL karya non-penutur asli bahasa Inggris sebagai tulisan AI. Sebuah preprint tahun 2026 yang menganalisis lebih dari 135.000 pasang dokumen menemukan tingkat salah deteksi berkisar dari 0% sampai 100% di 13 detektor.

Memakai alat cek AI dengan bijak

Skor detektor paling berguna sebagai petunjuk: skor itu menunjukkan bagian mana yang terbaca mudah ditebak. Fitur “Check for AI” di TextHumanizer memberi skor itu untuk paragraf apa pun, dan “Humanize Text” menulis ulang bagian yang datar supaya kamu bisa membandingkan sebelum dan sesudahnya.

Pertanyaan

Bisakah detektor AI mendeteksi semua model AI?

Tidak. Detektor dilatih dengan output dari model tertentu dan selalu tertinggal dari rilis baru. Akurasinya juga turun untuk bahasa dan gaya tulisan yang jarang ada di data pelatihannya.

Apakah detektor AI menyimpan teksku?

Tergantung alatnya. Ada yang menyimpan teks yang dikirim untuk meningkatkan modelnya, jadi cek kebijakan privasi detektor mana pun sebelum menempelkan tulisan yang sensitif.