使用指南

Robots 完整使用指南-使用指南-学习网-完整-txt-Robots

Robots.txt是一个小文本文件，位于网站的根目录中。它告诉抓取工具是否要抓取网站的某些部分。该文件使用简陋的语法，以便爬虫可以放置到位。写得好，你将在索引天堂。写得不好，最终可能会从搜索引擎中隐蔽整个网站,该文件没有官方标准。但你可以使用robots.txt做更多的工作，而不是网站大纲，比如使用通配符，站点地图链接，和“Allow”指令，所有主要搜索引...