Robots.txt Generator og Tester

Lag gyldige robots.txt-filer med egendefinerte crawl-regler. Kontroller hvilke sider søkemotorene kan få tilgang til og crawle.