BOM en robots.txt

• Webdesign

• zaterdag, 29 november 2008 18:54
• Laatst aangepast op zaterdag, 29 november 2008 21:14

Wees op je hoede voor een BOM (in dit geval bedoel ik de byte-order mark). Deze enigszins geheimzinnige en ongrijpbare materie heeft te maken met character encoding, utf-8 en dat soort zaken. Het zijn onzichtbare dingetjes voor de mens, maar niet voor de machine. Zo kan het er voor zorgen dat je robots.txt niet goed werkt. Ik vrees dat ik er het slachtoffer van ben, al weet ik het nog niet zeker.

Enfin, hoe het ook zij: als dit je allemaal boven je pet gaat, is het het veiligst om in je robots.txt altijd een lege regel aan de bovenkant toe te voegen, (zie http://www.seroundtable.com/archives/017801.html, en http://nikitathespider.com/articles/RobotsTxt.html) anders heb je kans dat zoekmachines dit bestandje niet kunnen lezen.

Als je je afvraagt wat een robots.txt is: deze boodschap vernietigt zichzelf na 9 seconden.