Perplexity: nakoľko je každé slovo prekvapivé
Perplexity meria, ako dobre jazykový model dokáže predpovedať ďalšie slovo. Text vygenerovaný AI má zvyčajne nízku perplexity, pretože model, ktorý ho napísal, vyberal pravdepodobné slová. Ľudský text má zvyčajne vyššiu: nezvyčajné slová, idiómy, vtip, preklep.
To je zároveň hlavná slabina. Jednoduchý, formálny alebo učebnicový ľudský text môže mať tiež nízku perplexity a označí sa z rovnakého dôvodu.
Burstiness: ako veľmi sa mení rytmus
Burstiness sleduje variabilitu v rámci dokumentu. Ľudia napíšu dlhú vetu a potom krátku. Po hutnom odseku dajú ľahší. Modely držia stály rytmus.
Detektory kombinujú obe miery. Text s nízkou perplexity a nízkou burstiness pôsobí najviac strojovo.
Vyskúšaj na vlastnom texte
Vlož odsek a pozri si svoje skóre AI pred a po.
Over si akýkoľvek odsek na AI jedným ťuknutím. Snímky obrazovky zobrazujú anglické rozhranie.
Stiahnuť v App StoreKlasifikátory trénované na príkladoch
Väčšina komerčných detektorov vrátane Turnitinu, GPTZero a Copyleaks ide ďalej a trénuje klasifikátor na veľkých súboroch označených textov ľudí a AI. Klasifikátor sa učí vzorce nad rámec perplexity, napríklad obľúbené frázy a stavbu odsekov.
Vďaka tomu sú lepšie na texty podobné tým, na ktorých boli trénované, a horšie na všetko ostatné: nové modely, iné jazyky, technické texty alebo texty ľudí, ktorí píšu v druhom jazyku.
Prečo sú detektory AI nespoľahlivé
Detekcia je pohyblivý cieľ. Každý nový model píše inak a detektory musia dobiehať. Úpravy tiež rozmazávajú signál: keď človek prepíše časť konceptu z AI, text je naozaj miešaný.
Väčším problémom sú falošné poplachy. Štúdia zo Stanfordu z roku 2023 zistila, že sedem detektorov nesprávne zaradilo viac ako polovicu súboru esejí TOEFL od ľudí, pre ktorých angličtina nie je materinský jazyk, medzi texty napísané AI. Preprint z roku 2026, ktorý analyzoval viac ako 135 000 párov dokumentov, zistil mieru falošných poplachov od 0 % do 100 % naprieč 13 detektormi.
Ako rozumne používať detektor AI
Skóre detektora je najužitočnejšie ako ukazovateľ: povie ti, ktoré pasáže pôsobia predvídateľne. „Check for AI“ v TextHumanizer dáva takéto skóre pre akýkoľvek odsek a „Humanize Text“ prepíše ploché časti, takže môžeš porovnať stav pred a po.
Otázky
Odhalia detektory AI každý model AI?
Nie. Sú trénované na výstupe konkrétnych modelov a za novými verziami zaostávajú. Presnosť klesá aj pri jazykoch a štýloch písania, ktoré boli v tréningových dátach zriedkavé.
Ukladajú detektory AI môj text?
Závisí to od nástroja. Niektoré si odoslané texty ponechávajú na zlepšovanie svojich modelov, preto si pred vložením citlivej práce pozri zásady ochrany súkromia detektora.