Google fyrirgefið

10. maí 2005 | 0 aths.

Fyrir tæpri viku barmaði ég mér yfir því að ég virtist vera horfinn af Google, að því er virtist án sýnilegrar ástæðu. Í morgun rakst ég á ábendingu um að ganga úr skugga um að robots.txt skráin virkaði örugglega til að Google gæti lesið vefinn snuðrulaust. Ég sló því inn slóðina að robots skránni minni og rak upp stór augu!

Robots.txt skrá er, fyrir þá sem ekki eru innvígðir í leyndardóma vefþjóna, einföld textaskrá sem þar sem hægt er að segja leitarvélum hvaða hluta vefsins þær megi lesa og hvað ekki (aðallega með því að taka fram hvað þær mega ekki lesa).

Þegar ég bjó til nýja útlitið setti ég það í tilraunaskyni fyrst upp á sérstakri vefslóð og til að tryggja að leitarvélar færu ekki að skrá nýju slóðina breytti ég aðeins robots.txt skránni. Þessi breytta skrá hefur svo flotið með þegar ég afritaði nýja útlitið inn á aðal vefslóðina.

Fyrirmælin til leitarvélanna voru því skýr:

User-agent: *
Disallow: *
[ ... ]

Á mannamáli: Regla fyrir; allar leitarvélar, bannað að skrá; allt.

Ég er fíbl.