llms.txt

llms.txt blev foreslået i 2024 som en måde at give sprogmodeller en kurateret indgang til et website. Filen ligger i roden, skrives i markdown og indeholder typisk en kort beskrivelse af sitet efterfulgt af links til de vigtigste sider, grupperet i sektioner.

Vigtigt forbehold: støtten er begrænset

Det er ikke en vedtaget standard. Hverken Google, OpenAI eller Anthropic har på skrivende tidspunkt bekræftet, at deres systemer læser filen som en del af crawl eller retrieval. Google har offentligt tilkendegivet, at de ikke bruger den.

Det gør ikke filen værdiløs — den koster næsten intet at lave, og hvis anvendelsen bliver udbredt, er du klar. Men den bør ikke prioriteres over grundlæggende arbejde med strukturerede data og crawladgang, som beviseligt virker i dag.

Forskellen fra robots.txt

robots.txt er restriktiv — den fortæller hvad crawlere ikke må. llms.txt er anbefalende — den peger på hvad der er værd at læse. De to udelukker ikke hinanden, og robots.txt er den, der faktisk håndhæves.