Robots.txt Generator & Tester

Generer gyldige robots.txt-filer med brugerdefinerede crawl-regler. Styr hvilke sider søgemaskiner kan få adgang til og crawle.