Tiltsam le az AI-crawlereket a weboldalamon?

Miért két kérdés ez egy helyett?

Az „AI-crawler” szó két különböző dolgot takar, és a nagy szolgáltatók ezért két különböző ügynöknevet használnak: az egyik a modelltanításhoz gyűjt szöveget, a másik a kereséshez indexel, hogy az AI-válaszban forrásként megjelenhess. A robots.txt-ben ezért külön dönthetsz róluk. Ha valaki „letiltja az AI-t”, általában mindkettőt tiltja, és közben pont azt zárja ki, amit szeretett volna: hogy a ChatGPT vagy a Perplexity megnevezze.

A mai dokumentációk szerint így néz ki a felosztás:

Ezeket a neveket ma néztem meg a szolgáltatók saját oldalán; ami nincs a táblázatban, arról nem találtam mai dokumentációt, ezért nem írom le.

Mi történik, ha a kereső-ügynököt tiltod?

Ha a kereső-ügynököt tiltod, az adott AI-kereső válaszaiban nem jelensz meg forrásként. Az OpenAI ezt így írja: az az oldal, amelyik kizárja az OAI-SearchBotot, nem jelenik meg a ChatGPT keresési válaszaiban, legfeljebb navigációs linkként. A Perplexity ugyanezt mondja a PerplexityBotról, és hozzáteszi, hogy ezt az ügynököt nem használják tanításra. Az Anthropic szerint a Claude-SearchBot a keresési találatok minőségét javítja, és tiszteletben tartja a robots.txt-t. A DuckDuckGo külön kiírja, hogy a DuckAssistBot tiltása nem érinti a szerves helyezést, csak az AI-válaszokból marad ki az oldal.

Szóval ez a csoport az, amit egy vállalkozásnak nem érdemes tiltania. Ez a bejárat.

Mi történik, ha a tanító-ügynököt tiltod?

Ha a tanító-ügynököt tiltod, a keresésben maradsz, csak a jövőbeli modellek tanításához nem használják fel az oldalad szövegét. A Google a Google-Extended tokenről szó szerint kimondja, hogy nem befolyásolja az oldal keresőbeli szereplését, és nem rangsorjel. Az Apple szerint az Applebot-Extended nem is crawlol, csak azt szabályozza, hogy a már beolvasott adatból tanulhat-e a modell; aki tiltja, az a keresésben marad. Az OpenAI szerint a GPTBot tiltása azt jelzi, hogy a tartalom ne kerüljön a tanításba.

Ez tehát ízlés és üzleti döntés kérdése. Aki a szövegét szellemi tulajdonként őrzi, tiltsa. Aki azt akarja, hogy a modellek „tudjanak róla” a keresés nélküli válaszokban is, engedje.

Hogyan néz ki ez a robots.txt-ben?

Egy vállalkozásnak, amelyik meg akar jelenni az AI-válaszokban, de a tanítást nem kéri, így néz ki a robots.txt lényege:

User-agent: *
Allow: /

# Keresés és idézés: engedve
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: DuckAssistBot
Allow: /

# Modelltanítás: tiltva
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
User-agent: Meta-ExternalAgent
Disallow: /

Egy megjegyzés a harmadik csoporthoz: a ChatGPT-User, a Claude-User és a Perplexity-User nem crawler, hanem akkor tölt be egy lapot, amikor egy ember a beszélgetésben ezt kéri. Az OpenAI és a Perplexity dokumentációja szerint ezekre a robots.txt szabályai nem feltétlenül vonatkoznak. Ezeket tehát nem tudod megbízhatóan tiltani, de nem is ezek indexelnek.

Mit csinál a theweblab.hu, és miért?

A theweblab.hu robots.txt-je mind a tizenöt ügynököt engedi, a tanítókat is. Az indok egyszerű: a magyar nyelvű szakmai tartalom automatizálásról és rendszerépítésről ma ritka, és azt akarom, hogy ne csak a keresős válaszokban, hanem a modellek alaptudásában is benne legyen, amit ide írok. Ez az én döntésem a saját szövegemről; a tiéd lehet más, és attól még a kereső-ügynököket engedd.

Hogy egy kereső-ügynök egyáltalán mit talál nálad, ha beengeded, arról az AI-láthatóság (GEO) oldalon írok. Az llms.txt-ről külön oldal szól, mert azt gyakran keverik ide, pedig nem ugyanaz.