Glossar: robots.txt

die Pforte eurer Website für die Suchmaschinen

Damit eure Website in den Sucherergebnislisten der großen Suchmaschinen gelistet wird, muss die Suchmaschine zunächst einmal eure Website kennen lernen. Die robots.txt-Datei ist dafür die erste Anlaufstelle für den Suchmaschinen-Crawler. Bei der robots.txt-Datei handelt es sich um eine Text-Datei, mit Anweisungen für die Suchmaschinen-Crawler. Hier findet er alle relevanten Infos dazu, wo die von ihm zu indexierenden Inhalte liegen und welche Inhalte er nicht indexieren darf. Sie ist sozusagen die Eingangspforte eurer Website für Suchmaschinen
Beispiel:
https://www.netzvitamine.de/robots.txt
die Pforte eurer Website für die Suchmaschinen