robot.txt

Mit dem Robots Exclusion Protocol (REP), besser bekannt als robots.txt, können Seitenbetreiber Crawler und automatische Clients vom Zugriff auf eine Website ausschließen. Google startet mit ersten Anpassungen bereits im September.