AI dedektörleri nasıl çalışır?

Perplexity: her kelime ne kadar şaşırtıcı?

Perplexity, bir dil modelinin sonraki kelimeyi ne kadar iyi tahmin edebildiğini ölçer. AI ile üretilmiş metnin perplexity değeri genelde düşüktür, çünkü onu yazan model olası kelimeleri seçmiştir. İnsan yazısında bu değer genelde daha yüksektir: alışılmadık kelime seçimleri, deyimler, bir espri, bir yazım hatası.

Asıl zayıflık da burada. Sade, resmi ya da ders kitabı tarzındaki insan yazısının da perplexity değeri düşük olabilir ve aynı sebeple işaretlenir.

Burstiness: ritim ne kadar değişiyor?

Burstiness, bir belge boyunca görülen çeşitliliğe bakar. İnsanlar uzun bir cümle yazar, ardından kısa bir tane. Yoğun bir paragrafın arkasından hafif bir paragraf getirir. Modeller ise sabit bir ritimde kalma eğilimindedir.

Dedektörler iki ölçüyü birleştirir. Perplexity ve burstiness değeri düşük olan metin en çok makine yazısına benzer.

Kendi metninde dene

Bir paragraf yapıştır, AI skorunu öncesi ve sonrasıyla gör.

Herhangi bir paragrafı tek dokunuşla AI tespitinden geçir. Ekran görüntülerinde İngilizce arayüz yer alıyor.

App Store'dan indir

Örneklerle eğitilmiş sınıflandırıcılar

Turnitin, GPTZero ve Copyleaks dahil çoğu ticari dedektör bir adım daha ileri gider ve etiketlenmiş büyük insan ve AI yazısı setleri üzerinde bir sınıflandırıcı eğitir. Sınıflandırıcı, en sevilen ifadeler ve paragraf yapısı gibi perplexity'nin ötesindeki kalıpları öğrenir.

Bu da onları eğitildikleri türdeki metinlerde daha iyi, farklı olan her şeyde daha kötü yapar: yeni modeller, başka diller, teknik yazılar ya da ikinci bir dilde yazan insanların metinleri.

AI dedektörleri neden güvenilir değil?

Tespit sürekli hareket eden bir hedef. Her yeni model farklı yazar ve dedektörlerin ona yetişmesi gerekir. Düzenleme de sinyali bulanıklaştırır: bir insan AI taslağının bir kısmını yeniden yazdığında metin gerçekten karışık hale gelir.

Asıl büyük sorun yanlış pozitifler. Stanford'un 2023 tarihli çalışması, yedi dedektörün ana dili İngilizce olmayanların yazdığı bir grup TOEFL kompozisyonunun yarısından fazlasını yanlışlıkla AI yazısı olarak sınıflandırdığını buldu. 135.000'den fazla belge çiftini inceleyen 2026 tarihli bir ön baskı ise 13 dedektörde yanlış pozitif oranlarının %0 ile %100 arasında değiştiğini ortaya koydu.

AI tespit aracını akıllıca kullanmak

Dedektör skoru en çok bir yol gösterici olarak işe yarar: hangi pasajların öngörülebilir okunduğunu söyler. TextHumanizer'daki “Check for AI” her paragraf için bu skoru verir, “Humanize Text” de yavan kısımları yeniden yazar, böylece öncesini ve sonrasını karşılaştırabilirsin.

Sorular