Die robot.txt-Datei ist ein Textdokument auf einer Website, das Suchmaschinen anweist, welche Seiten indexiert werden dürfen und welche nicht.