مولد ومختبر Robots.txt

قم بإنشاء ملفات robots.txt صحيحة مع قواعد زحف مخصصة. تحكم في الصفحات التي يمكن لمحركات البحث الوصول إليها والزحف إليها.