robots.txt
Die robots.txt steuert den Zugriff der Suchmaschinen auf die Seite. Mit der robots.txt wird einerseits der Suchmaschine mitgeteilt wo sie suchen soll und wo sie Informationen zur Seite finden und andererseits eingeschränkt welche Seiten oder Dateien nicht indexiert werden dürfen. Hier ein Beispiel einer robots.txt User-agent: …