Många webbplatsoperatörer är oroliga. Tydligen måste du absolut ha en fil som heter robots.txt. Vad är det?
Windows + Linux / engelska / öppen källkod. Om du har en hemsida vill du oftast bli hittad. Det är stor frustration när din egen sida inte visas på Google. Detta kan mycket väl bero på robots.txt -filen. Men bara om det finns där. Den här filen kan bara göra en sak: förbjud.
I filen robots.txt kan du förbjuda automatiska program som surfar på Internet dygnet runt från att komma åt dina sidor. Du kan uttala förbudet över hela linjen för alla dessa robotar eller för vissa. Du kan blockera dina sidor helt eller bara vissa områden.
Om filen inte finns finns det därför inga förbud. Dina sidor är öppna för alla sökmotorer. Om du fortfarande inte visas på Google uppstår en helt annan fråga: Har du redan registrerat dina sidor? Det bästa är att göra det direkt. Ange bara adressen här:
https://www.google.com/webmasters/tools/submit-url
För att göra detta måste du logga in på ditt Google -konto.
För att en saknad robots.txt -fil ska vara ett problem måste servern också konfigureras felaktigt. Då kan en robot försöka komma åt filen och stöta på ovanliga felmeddelanden, vilket gör att processen avbryts. Men detta fall är mycket osannolikt.
Om du vill skapa en robots.txt -fil, spara den i huvudmappen på din webbserver. Om du vill tillåta alla att göra allt, skriv följande in i den:
Användaragent: *
Inte godkänna:
Raden "User-Agent" anger vem förbudet gäller. * betyder: för alla. Raden "Tillåt" uttrycker förbudet. Om det inte finns något mer betyder det att alla åtkomst är tillåten.
Mer om ämnet:Dra upp, här kommer din webbplats: Hur man skapar en webbplats med liten ansträngning
