robots.txt

Ja, vad är nu detta då?

Jo, det är en fil man lägger i roten på ens eget konto där man har webbsidan för att förhindra att t.ex. bilder, kataloger ja filer med som man inte vill nån ska göra ett ”register” över. Jag talar alltså om sökmotorer/sökspindlar och inget annat.

Varför jag börjat kolla upp detta är för att jag konstant när jag skriver detta har besök av 3-4 sökpindlar från något PicSearch.com och de snokar genom katalog för katalog efter bilder. Den sökspindeln är lite av typ samma som Google har om man går in på dess Bildsökning. Vad de dessutom gör utom att indexera är ju att de ”stjäl” av ens bandbredd med och har man kanske sidan på nått ställe där man bara får ha en viss trafik/mån så kan ju sånt spela in med.

Men, det finns bot.. och boten är att man skapar en fil vid namn robots.txt och lägger upp i roten på sitt konto. Naturligtvis måste det stå något i den filen med och det ska jag försöka förklara här under.

Vill man inte att någon som helst sökspindel/sökrobot skall indexera någonting på ens sida så skriver man så här i filen robots.txt:

User-agent: *
Disallow: /

Men man kanske bara vill stoppa alla sökspindlar från att indexera en viss katalog som bilder och som t.ex. ligger i http://www.sida.se/bilder/ och då skriver man istället så här:

User-agent: *
Disallow: /bilder/

Man talar alltså då om att underkatalogen bilder inte får indexeras. Men allt annat på sidan kommer då att indexeras med koden ovan.

Vill man kanske att de skall indexera det mesta men att Googles bildsökning inte ska få indexera någonting så skriver man:

User-agent: Googlebot-Image
Disallow: /

Eftersom den sökspindeln har ett eget namn så kan man skriva på detta viset och så kan man göra med övriga med.

Ni börjar se tekniken nu va?
Man kan också skriva dit nån kommentar i filen för att hjälpa till lite bara så man själv förstår lite bättre och då börjar man raden med ett #

# Kommentar
User-agent: "spindelnamn"
Disallow: "hela sidan eller bara en katalog"

Då det gäller User-agent så har då sökspindlarna olika namn enligt nedan:

  • Googlebot = Google
  • Googlebot-Image = Google bildsökning
  • Yahoo-Blogs/v3.9 = Yahoo!
  • Yahoo-MMCrawler = Yahoo! bildsökning
  • vscooter = AltaVista
  • msnbot = MSN Search
  • psbot = PicSearch

Men det finns säkert många andra men detta är väl de ”stora”.

Skriver man ett / efter Disallow så menar man alltså allt, men skriver man /katalog/ så menar man bara den katalogen.

Har man som jag WordPress kan det ju vara onödigt att sökspindlar är och söker i vissa kataloger eller filer som de inte har nått göra i så då kan man blockera dem lite i stil med:

# Blockera WordPress
User-Agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-admin/

Här ovan så säger man ju åt sökspindeln att de ska ge tusan i filerna wp-login.php, wp-register.php samt hela katalogen wp-admin. Man kan naturligtvis skriva in mycket mera men detta var bara ett exempel.

Man bör ju också tänka på att har man som jag WordPress i en egen underkatalog (kludd.se/wp) så måste ju detta skrivas dit med så i mitt fall borde det då stå:

# Blockera WordPress
User-Agent: *
Disallow: /wp/wp-login.php
Disallow: /wp/wp-register.php
Disallow: /wp/wp-admin/

Men vill man bara undanta någon vanlig HTML-sida eller så då kan man lägga in koden:

Den koden skall då stå någonstans mellan:


Här betyder då ”robots” att det gäller alla söksindlar, noindex säger till sökspindeln att inte indexera webbsidan och slutligen nofollow som då hindrar sökmotorn från att följa länkarna man har på sidan.

Man kan i och med detta istället för ”robots” skriva nån av koderna för bara nån av sökspindlarna med enligt koderna jag skrivit ovan.

Men, det absolut enklaste är ju att ha en separat robots.txt och klickar du på den så ser du min du kan utgå ifrån om du vill.