Robots.txt

Robots.txt er et dokument der ligger i “/root” af din hjemmeside. /root er er det øverste lag i databasen af din hjemmeside. Robots.txt instruerer crawlere i hvad de må og ikke må, eksempel via noindex, nofollow m.m.

Typisk er Robots.txt et forholdsvis tomt dokument, fordi det anbefales at putte noindex osv. på de enkelte sider, for du ikke kommer til at aflukke crawlere fra din side fuldstændigt. Et sted for brugen af robots.txt fungerer specielt godt, er hvis du har et intranet på din hjemmeside, du ikke vil have skal komme frem på søgemaskiner.

« Tilbage til indeks