Kell llms.txt a weboldalamra?

Mi az az llms.txt egyáltalán?

Az llms.txt egy javaslat 2024 szeptemberéből: Jeremy Howard vetette fel, hogy a weboldalak tegyenek a gyökerükbe egy /llms.txt nevű markdown-fájlt, ami tömören, a navigáció és a reklámok nélkül összefoglalja, mi van az oldalon, és hova érdemes menni a részletekért. Az indoklás ésszerű: a weboldal embernek készül, a nyelvi modell meg jobban jár egy sűrű, egy helyre gyűjtött kivonattal.

A javaslat oldala azt is írja, hogy a nagy AI-laborok a saját fejlesztői dokumentációjukhoz publikálnak ilyen fájlt. Ez igaz, és ma is látszik: az OpenAI és a Perplexity fejlesztői doksija a saját llms.txt-jére hivatkozik mint dokumentáció-indexre. Csakhogy ez más, mint amit a kérdés takar. Az, hogy egy dokumentációs oldal kirak egy tartalomjegyzéket, nem jelenti azt, hogy a keresőjük a te oldalad llms.txt-jét lekéri, és abból dönti el, mit idéz.

Ki kéri, és ki nem?

Egyetlen nagy kereső vagy AI-kereső dokumentációja sem kéri, hogy llms.txt legyen az oldaladon. A Google ezt szó szerint kimondja: az AI-alapú áttekintéshez és az AI-módhoz nem kell új, géppel olvasható fájlt, „AI-szövegfájlt” vagy külön jelölést készíteni, és külön strukturált adat sem kell hozzá. A szokásos keresőoptimalizálási alapok számítanak.

Az OpenAI, az Anthropic és a Perplexity crawler-dokumentációja azt írja le, hogyan hívják az ügynökeiket, és hogyan lehet őket a robots.txt-ben engedni vagy tiltani. Az Anthropic oldala az llms.txt-t meg sem említi. Az OpenAI és a Perplexity oldala csak a saját doksi-indexére linkel vele. Egyik sem állítja, hogy a keresőjük a te fájlodat olvasná.

Mi kell helyette?

Helyette az kell, amit a crawlerek tényleg lekérnek: egy robots.txt, ami engedi a kereső-ügynököket, egy sitemap valódi módosítási dátumokkal, és maguk az oldalak, szerveroldali HTML-ben, strukturált adattal. Ha ezek rendben vannak, a modell megtalálja az oldalt, és ha az oldal az első bekezdésben válaszol egy konkrét kérdésre, idézni is tudja.

Ez nem elmélet, ezt így csináltam a saját oldalamon, és mindegyik pont ellenőrizhető rajta. A theweblab.hu-n nincs llms.txt, és ez döntés, nem feledékenység: egy fájl, amit senki nem kér le, nem stratégia. Az ide szánt időt a válasz-először írt oldalakra fordítottam, mint amilyen ez is. Hogy mitől lesz egy oldal idézhető, arról az AI-láthatóság (GEO) oldalon írok bővebben, az AI-crawlerek engedéséről pedig külön: tiltsam le az AI-crawlereket?

Árt, ha mégis felteszem?

Nem árt: egy plusz szöveges fájl a gyökérben senkit nem zavar, és ha egy fejlesztői eszköz vagy egy saját ügynök egyszer tényleg olvassa, jól jöhet. Két dolgot tarts észben. Az egyik, hogy karban kell tartani: egy elavult összefoglaló rosszabb, mint a semmi, mert mást mond, mint az oldal. A másik, hogy ne hidd, hogy ezzel „megcsináltad a GEO-t”. Ha az oldalaid bevezetővel kezdődnek és négy témát hordoznak egy URL-en, az llms.txt ezen semmit nem javít.

Ha kíváncsi vagy, hol tartasz ma, az AI-láthatóság teszt 48 órán belül megmondja, mit válaszol rólad az AI, és mi a három legfontosabb lépés.