Генератор и тестер Robots.txt

Создавайте корректные файлы robots.txt с пользовательскими правилами сканирования. Управляйте доступом поисковых систем к страницам вашего сайта.