Robots.txt生成工具并不是一个新的seo工具，通过搜索引擎找到很多类似的工具，但是这是第一个由搜索引擎提供的官方工具。Google发布此工具的目录是让网站管理员可以方便地生成规范的Robots.txt文件。
robots.txt 文件使您能够指定您希望阻止其在您网站上抓取文件的漫游器。许多网站管理员不喜欢手动创建 robots.txt 文件。 网站管理员工具 robots.txt 生成器使您能够轻松创建 robots.txt 文件，您可以在 robots.txt 文件中指定您不希望抓取您网站的任何漫游器，如阻止网络抓取工具访问您网站上的文件或目录 、阻止网络抓取工具访问您的整个网站 、阻止特定的抓取工具访问您的网站并允许或拦截对您服务器上特定文件及目录的访问：如图
如何获得Robots.txt生成工具呢？
1、首先使用 Google 帐户登录 Google 网站管理员工具。
2、在左侧列中，点击 工具，并点击生成 robots.txt 。
3、选择您的默认漫游器访问权限 我们建议您允许所有漫游器，并通过以下步骤排除您不希望访问您网站的特定漫游器。 这将有助于防止您的网站发生意外拦截关键抓取工具的问题。
4、指定任何附加规则。 例如，将 Googlebot 拦截于您的网站的全部文件及目录之外： 在操作列表中，选择 Disallow 。
5、在漫游器列表中，点击 Googlebot
6、在文件或目录对话框中，输入 /。 要指定一项以上条目，请在每一行后点击 ENTER，并在新的一行中输入新的条目。
7、单击添加。 robots.txt 文件代码将自动生成。
8、保存 robots.txt 文件，方法是下载文件或将内容复制到文本文件并保存为 robots.txt。 将文件保存到您网站的顶级目录下。
