Robots.txt生成器

Robots.txt生成器

默认-所有机器人都是:	允许的 拒绝
抓取延迟:	默认-无延迟 5 Seconds 10 Seconds 20 Seconds 60 seconds 120 Seconds
网站地图: （如果没有，请留空）
搜索机器人:	Google	与默认相同 允许的 拒绝
	Google Image	与默认相同 允许的 拒绝
	Google Mobile	与默认相同 允许的 拒绝
	MSN Search	与默认相同 允许的 拒绝
	Yahoo	与默认相同 允许的 拒绝
	Yahoo MM	与默认相同 允许的 拒绝
	Yahoo Blogs	与默认相同 允许的 拒绝
	Ask/Teoma	与默认相同 允许的 拒绝
	GigaBlast	与默认相同 允许的 拒绝
	DMOZ Checker	与默认相同 允许的 拒绝
	Nutch	与默认相同 允许的 拒绝
	Alexa/Wayback	与默认相同 允许的 拒绝
	Baidu	与默认相同 允许的 拒绝
	Naver	与默认相同 允许的 拒绝
	MSN PicSearch	与默认相同 允许的 拒绝
受限目录:	该路径是相对于根的，并且必须包含一个斜杠 "/"

现在，在您的根目录下创建一个'robots.txt'文件。 复制以上文本并将其粘贴到文本文件中。

关于 Robots.txt生成器