Crawlability

Crawlability er et udtryk for, hvor let det er for Googles crawler – Googlebot – at finde, tilgå og gennemgå siderne på din hjemmeside. En hjemmeside med god crawlability er struktureret på en måde, hvor Googlebot kan bevæge sig fra side til side via interne links, og hvor ingen tekniske barrierer blokerer adgangen til vigtige sider.

Det er en af de mest grundlæggende forudsætninger i teknisk SEO: Hvis Google ikke kan crawle en side, kan siden ikke indekseres. Og hvis siden ikke er indekseret, kan den ikke ranke.

Crawlability vs. indexabilitet

De to begreber forveksles ofte, men de beskriver to forskellige trin i Googles proces:

Crawlability handler om adgang. Kan Googlebot overhovedet finde og besøge siden?

Indexabilitet handler om optagelse. Beslutter Google sig for at tilføje siden til sit indeks efter besøget?

En side kan sagtens være crawlable uden at blive indekseret – fx hvis den har et noindex-tag eller indhold af lav kvalitet. Men en side der ikke kan crawles, vil aldrig blive indekseret uanset indholdet.

Hvad påvirker crawlability?

Flere tekniske faktorer afgør, om Googlebot kan bevæge sig frit rundt på din hjemmeside:

Intern linking Googlebot finder nye sider ved at følge links. En side der ikke er linket fra andre sider på sitet – en såkaldt orphan page – risikerer aldrig at blive opdaget. En stærk intern linkstruktur er den vigtigste enkeltfaktor for god crawlability.

robots.txt Denne fil fortæller Googlebot, hvilke sider og mapper den ikke må crawle. En forkert konfigureret robots.txt er en klassisk fejl der kan blokere vigtige sider – i værste fald hele sitet.

Meta robots-tags Tags som <meta name="robots" content="noindex, nofollow"> på individuelle sider kan både forhindre indexering og blokere crawl af udgående links. Tjek at de bruges bevidst og korrekt.

Redirect-kæder Lange kæder af redirects (fx side A → B → C → D) forsinker og besværliggør crawl. Googlebot sætter en grænse for, hvor mange hop den følger, og ressourcer bruges ineffektivt.

Crawlbudget Google tildeler hvert website et crawlbudget – en slags grænse for, hvor mange sider Googlebot crawler i en given periode. For de fleste små og mellemstore hjemmesider er crawlbudget ikke et reelt problem. For store sites med tusindvis af sider kan dårlig crawlability betyde, at vigtige sider sjældent eller aldrig bliver genbesøgt.

Sigehastighed Langsomme sider bruger mere af crawlbudgettet. En side der tager mange sekunder at loade, giver Googlebot dårligere forudsætninger for at crawle sitet effektivt.

Sådan tjekker du crawlability

Google Search Console er det primære værktøj. Under Indeksdækning (Coverage) kan du se, hvilke sider der er indekseret, og hvilke der er markeret med fejl eller advarsler. Under Crawlstatistikker (Crawl Stats) kan du se, hvor mange sider Googlebot crawler dagligt og om der opstår fejl undervejs.

Et crawl-værktøj som Screaming Frog, Ahrefs Site Audit eller SE Ranking kan supplere med et komplet billede af sitestrukturen – inkl. orphan pages, redirect-kæder og blokerede ressourcer.

De mest almindelige crawlability-problemer

• Orphan pages: Sider der ikke er linket fra andre steder på sitet
• Blokeret i robots.txt: Vigtige sider eller mapper der utilsigtet er blokeret
• Redirect-kæder og loops: Sider der redirecter til hinanden i en cirkel, eller via mange hop
• Brudte interne links: Links der peger på sider der ikke eksisterer (404-fejl)
• JavaScript-afhængigt indhold: Sider der kræver JavaScript-rendering for at vise indhold, hvilket kan forsinke eller forhindre crawl
• Duplicate content uden canonical: Mange næsten-ens sider der bruger crawlbudgettet ineffektivt

FAQ om crawlability

Er crawlability det samme som at ranke? Nej. Crawlability er en forudsætning for at ranke, men ikke en garanti. Google skal kunne crawle og indeksere siden, og derefter vurdere indholdet som relevant og troværdigt nok til at vise i søgeresultaterne.

Hvor ofte crawler Google min hjemmeside?

Det afhænger af sidens autoritet, opdateringsfrekvens og størrelse. En stor nyhedsside kan crawles adskillige gange i timen, mens en lille hjemmeside med sjælden opdatering måske kun crawles ugentligt eller sjældnere.

Hvad er forskellen på Googlebot og andre crawlers?

Googlebot er Googles crawler. Bing, Yandex og andre søgemaskiner har deres egne crawlers med separate brugeragenter. Indstillinger i robots.txt kan sættes specifikt for de enkelte crawlers.

Kan jeg se præcis hvornår Google har crawlet min side?

I Google Search Console kan du under URL-inspektionsværktøjet se, hvornår en specifik side sidst blev crawlet – og om den er indekseret.