Robots.txt

Was ist die Robots.txt?

Die Robots.txt wurde 1994 als Protokoll eingeführt und sorgt dafür, dass die Web Crawler beim Aufruf einer Webseite zuerst die Robots.txt aufrufen und deren Inhalte auslesen müssen. Erst anschließend dürfen die Bots die Inhalte der Webseite in den Index aufnehmen.

Damit die Bots auch die Datei als erstes auslesen können, muss sie in der obersten Ebene des Root-Verzeichnisses abgelegt werden. Die Datei selbst muss eine einfache Textdatei sein – daher auch die.txt-Endung. Im Verzeichnis darf nur eine Datei mit diesem Namen existieren.

Da die Bots Content Case-Sensitive auslesen, sollten die Inhalte kleingeschrieben sein.

Hinweis:

Auch wenn die Crawler von Google, Bing, Yahoo und Youtube sich streng an die Inhalte bzw. Anweisungen in