martin væver.
← Alle termer

Term

AI-crawlere

AI-søgning

Sidst opdateret: 23. september 2026

martin væver

Af Martin Væver · SEO nørd

AI-crawlere er de automatiske programmer, som AI-virksomheder bruger til at hente webindhold – enten til træning af sprogmodeller eller til at besvare brugeres spørgsmål i realtid.

Ud over Googlebot besøges de fleste sites i dag af en række crawlere fra AI-virksomheder. Nogle henter indhold til at træne modeller, andre henter det i realtid for at besvare et konkret spørgsmål. Om du lukker dem ind, afgør, om dit indhold kan indgå i AI-svar.

Mere om SEO-ordbogen

AI-crawlere identificerer sig med en brugeragent, ligesom Googlebot. De fleste store udbydere har flere, med forskellige formål, og det er afgørende at skelne mellem dem.

Tre typer

  • Træningscrawlere. Samler indhold til at træne fremtidige modeller. Eksempler: GPTBot (OpenAI), ClaudeBot (Anthropic) og CCBot (Common Crawl).
  • Søgecrawlere. Opbygger et indeks, som AI-søgningen slår op i. Eksempler: OAI-SearchBot, Claude-SearchBot og PerplexityBot.
  • Brugerudløste hentninger. Henter en bestemt side, fordi en bruger har bedt om det i en samtale. Eksempler: ChatGPT-User, Claude-User og Perplexity-User.

Google og Apple fungerer lidt anderledes. Google-Extended og Applebot-Extended er ikke selvstændige crawlere, men tokens i robots.txt, der styrer, om indhold hentet af de almindelige crawlere må bruges til deres AI-modeller. At blokere Google-Extended påvirker ikke din synlighed i Google-søgning.

Blokér eller åbn?

Det er en forretningsbeslutning. Blokerer du træningscrawlere, beskytter du dit indhold mod at indgå i fremtidige modeller – men modellerne lærer også mindre om dit brand. Blokerer du søge- og brugercrawlere, kan du slet ikke citeres i AI-svar. For de fleste virksomheder, der gerne vil være synlige, er udgangspunktet at holde søge- og brugercrawlere åbne. Styringen sker i robots.txt, og din strategi bør være en del af dit GEO-arbejde.

Husk, at robots.txt er en henstilling. De store udbydere respekterer den, men mindre aktører gør det ikke altid, og navne på crawlere ændrer sig løbende. Tjek udbydernes egen dokumentation, før du opsætter regler.

Relaterede termer

Alle termer