Term
robots.txt
Teknisk SEO
Sidst opdateret: 11. august 2026
Af Martin Væver · SEO nørd
robots.txt er en tekstfil i roden af et website, der fortæller crawlere hvilke dele af sitet de må hente. Den styrer adgang – ikke indeksering.
robots.txt er en lille tekstfil, der ligger på adressen dit-domæne.dk/robots.txt. Den fungerer som et skilt ved indgangen: her må du gerne kigge, her må du ikke. Crawlere fra søgemaskiner og AI-systemer læser filen, før de går i gang.
Mere om SEO-ordbogen
robots.txt er en almindelig tekstfil placeret i roden af domænet. Den følger Robots Exclusion Protocol og fortæller crawlere, hvilke stier de må og ikke må hente. Filen er offentligt tilgængelig for alle.
Adgang er ikke det samme som indeksering
Det er den hyppigste misforståelse. robots.txt styrer, om en crawler må hente en side — ikke om siden må optræde i søgeresultaterne. En blokeret side kan sagtens blive indekseret, hvis andre sider linker til den. Google kender så URL'en, men ikke indholdet, og viser den uden beskrivelse.
Skal en side ud af indekset, er værktøjet et noindex-direktiv. Og det forudsætter, at siden må crawles — ellers ser Google aldrig direktivet. At blokere i robots.txt og sætte noindex samtidig er selvmodsigende og virker ikke.
Syntaks
User-agent— angiver hvilken crawler reglerne gælder for. En stjerne betyder alle.Disallow— sti der ikke må hentes. Tom værdi betyder ingen begrænsning.Allow— undtagelse fra en Disallow-regel. Mest brugt til at frigive enkelte filer i en blokeret mappe.Sitemap— absolut URL til dit XML-sitemap. Gælder uafhængigt af user-agent.
AI-crawlere
Siden 2023 er der kommet en række user-agents, der ikke er søgemaskinecrawlere: GPTBot, ClaudeBot, PerplexityBot, CCBot og Google-Extended. De styres samme sted, men beslutningen er en anden. Det handler ikke om crawlbudget — det handler om, hvorvidt du vil kunne optræde i AI-søgning.
Bemærk at Google-Extended kun styrer brug til Gemini og modeltræning. Den påvirker ikke, om dit indhold kan vises i AI Overviews — det følger den almindelige Googlebot-adgang.
De klassiske fejl
- Et Disallow for hele sitet, der er blevet stående efter overførsel fra staging. Den dyreste enkeltfejl i teknisk SEO.
- Blokering af CSS- og JS-mapper, så Google ikke kan rendere siden korrekt og crawlability forringes uden synlig årsag.
- Forsøg på at skjule fortroligt indhold. Filen er offentlig og fungerer i praksis som en vejviser til præcis det, du ville skjule.
- Regler placeret under den forkerte User-agent-blok, så de aldrig træder i kraft.