Robots.txt generator och testverktyg

Skapa giltiga robots.txt-filer med egna crawl-regler. Bestäm vilka sidor sökmotorer får komma åt och crawla.