Генератор robots.txt

Генератор robots.txt

По умолчанию - все роботы:	Разрешается Отказалась
Сканирование - Задержка:	По умолчанию - без задержки 5 Seconds 10 Seconds 20 Seconds 60 seconds 120 Seconds
Карта сайта: (оставьте поле пустым, если у вас его нет)
Поисковые роботы:	Google	То же, что по умолчанию Разрешается Отказалась
	Google Image	То же, что по умолчанию Разрешается Отказалась
	Google Mobile	То же, что по умолчанию Разрешается Отказалась
	MSN Search	То же, что по умолчанию Разрешается Отказалась
	Yahoo	То же, что по умолчанию Разрешается Отказалась
	Yahoo MM	То же, что по умолчанию Разрешается Отказалась
	Yahoo Blogs	То же, что по умолчанию Разрешается Отказалась
	Ask/Teoma	То же, что по умолчанию Разрешается Отказалась
	GigaBlast	То же, что по умолчанию Разрешается Отказалась
	DMOZ Checker	То же, что по умолчанию Разрешается Отказалась
	Nutch	То же, что по умолчанию Разрешается Отказалась
	Alexa/Wayback	То же, что по умолчанию Разрешается Отказалась
	Baidu	То же, что по умолчанию Разрешается Отказалась
	Naver	То же, что по умолчанию Разрешается Отказалась
	MSN PicSearch	То же, что по умолчанию Разрешается Отказалась
Запрещенные каталоги:	Путь указывается относительно корня и должен содержать косую черту в конце. "/"

Теперь создайте файл robots.txt в корневом каталоге. Скопируйте приведенный выше текст и вставьте его в текстовый файл.

О Генератор robots.txt