robots用来告诉搜索机器人哪些页面需要索引,哪些页面不需要索引. 这句话是什么意思呢？

机器人

机器人复数

机器人双语对照词典结果：robots[英]["ru0259u028abu0252ts][美]["rou028abu0252ts]n.机器人( robot的名词复数 ); 遥控装置; 自动机; 机械呆板的人; 以上结果来自金山词霸

robots意思：机器人。robots读音：英音["ru0259u028abu0252ts]美音["rou028abu0252ts]。robots基本解释：n.机器人（robot的名词复数）；遥控装置；自动机；机械呆板的人。robots变化形式：易混淆的单词：Robots。句子1、The massive airport,shaped like a starfish,features a giant Chinese garden and customer-service robots providing flight information.这座大型机场，形状类似海星，配有大型中式庭院和提供航班信息的客服机器人。2、Will robots steal all our jobs?机器人会抢我们的饭碗吗？3、These cars are built by robots.这些汽车是由机器人制造的。4、No doubt such robots would be very useful in the homes of the able-bodied,too.毫无疑问，这样的机器人在健全人的家里也会非常有用。

robots是英语中的一个词汇，意思是“机器人（们）”。在计算机科学中，“robots.txt”是一种文件格式，一般位于一个网站的根目录，用来告诉搜索引擎爬虫访问该网站时应该遵守哪些规则，例如哪些页面应该被允许抓取，哪些页面不应该抓取等。这个文件的设计初衷是为了帮助网站管理员进行搜索引擎优化和掌控搜索引擎爬取行为。在网络协议中，robots.txt是Web站点管理者用来告诉搜索引擎机器人哪些页面不应该被爬虫抓取的标准协议。搜索引擎爬虫在访问网站时会优先查找站点根目录下的robots.txt文件，通过分析文件内容来决定哪些页面可以访问，哪些页面禁止访问。robots.txt的用法：1、创建robots.txt文件，通常，这个文件应该保存在网站的根目录下。2、确定拒绝搜索引擎访问的网页，要做到这一点，你需要确定哪些页面你不希望出现在搜索结果中，是因为这些页面包含了敏感信息、早已过时并不再适用，或是属于单个用途的网页（比如结果页面）等。对于想要允许在搜索引擎中出现的页面，你无需在robots.txt文件中去定义。3、根据User-Agent指示哪些页面不可访问，同时也可以在robots.txt文件中使用 Sitemap 指令，告诉搜索引擎sitemap的地址，这样搜索引擎就能更好的爬取你的网站。4、上传robots.txt文件到你的网站的根目录，并确保文件的权限设置正确，以便搜索引擎爬虫可以读取。robots.txt文件的格式比较简单，主要包括以下两种命令：1、User-agent命令：用来指定搜索引擎爬虫的名称或者标识符。2、Disallow命令：用来指示搜索引擎爬虫不应该抓取的页面的URL地址。例如，以下是一个简单的robots.txt文件示例：User-agent: *Disallow: /loginDisallow: /adminDisallow: /assets（该文件表示不希望任何搜索引擎爬虫抓取/login、/admin和/assets路径下的页面。）robots.txt的注意事项1、robots.txt文件的重要性需要引起重视，简单地说，robots.txt文件可以控制搜索引擎爬虫哪些页面可以访问和抓取，哪些页面应该被忽略。因此，正确编写和配置robots.txt文件可以帮助保护网站内容的安全性，提高网站被搜索引擎收录和优化的效果，从而提高网站的流量和收益。2、编写robots.txt文件需要谨慎，在编写robots.txt文件时，应该仔细检查哪些页面需要禁止搜索引擎访问，哪些页面可以访问。如果设置不当，可能会造成一些不良影响，例如导致搜索引擎无法访问网站中的重要内容，从而降低网站权重和排名。

robots是什么？ robots是一个协议，是建立在网站根目录下的一个以（robots.txt）结尾的文本文件，对搜索引擎蜘蛛的一种限制指令。是蜘蛛程序爬行网站第一个要访问抓取的页面，网站可以通过robots协议来告诉搜索引擎蜘蛛程序哪些页面可以抓取，哪些页面不可以抓取。 robots协议用来告诉搜索引擎哪些页面能被抓取，哪些页面是不能被抓取的，我们通常用 robots来屏蔽网站的一些垃圾页面、重复页面、死链接通、动态和静态多路径的同一页面。这么做的好处是可以节省一部分的服务器带宽，同时也方便蜘蛛程序更好的来抓取网站内容。其实robots就像一个指路标一样，引导着蜘蛛程序爬取网站页面。robots符号介绍 首先我们先来认识一下书写robots时常用到的几个字符 User-agent:写义搜索引擎类型，这里的首字母要大写U，结尾冒号:后要加一个空格键，如 User-agent:* 不带空格，User-agent: * 带空格的。 * 这里的星号是一个通配符，匹配0或多个任意字符 $ 是一个结束符 Disallow:表示不希望被访问的目录或URL Allow:表示希望被访问的目录或URLrobots的确定写法 写法一：禁止所有搜索引擎来抓取网站任何页面 User-agent: *（此处*号也可以写成禁止某个蜘蛛抓取，例如百度的 User-agent: Baiduspider） Disallow: / 写法二：允许所有搜索引擎抓取网站任何页面 User-agent: * Allow: / 当然如果允许的话也可以写个空的robots.txt放网站根目录 其它写法举例: User-agent: * 代表所有搜索引擎Disallow: /abc/ 表示禁止抓取abc目录下的目录 Disallow: /abc/*.html 表示禁止抓取此目录下所有以 .html为后缀的URL包含子目录 Disallow: /*？*禁止抓取所有带？问号的URL Disallow: /*jpg$ 禁止所有以.jpg结尾格式的图片 Disallow: /ab 禁止抓取所有以ab 开头的文件 Disallow: /ab/a.html 禁止抓取ab文件夹下面的a.html 文件 Allow: /ABC/ 表示允许抓取abc目录下的目录百度robots的写法淘宝robots的写法最后附上我自己网站robots的写法好了就先举例这些，最后让提醒各位站长，慎重写robots协议，确保网站上线之前解决所有问题后，建立robots.txt文本到根目录。 85、Mr宋 94-80 作业

搜索引擎爬去我们页面的工具叫做搜索引擎机器人，也生动的叫做“蜘蛛”蜘蛛在爬去网站页面之前，会先去访问网站根目录下面的一个文件，就是robots.txt。这个文件其实就是给“蜘蛛”的规则，如果没有这个文件，蜘蛛会认为你的网站同意全部抓取网页。Robots.txr文件是一个纯文本文件，可以告诉蜘蛛哪些页面可以爬取（收录），哪些页面不能爬取。举个例子：建立一个名为robots.txt的文本文件，然后输入User-agent: * 星号说明允许所有搜索引擎收录Disallow: index.php? 表示不允许收录以index.php?前缀的链接，比如index.php?=865Disallow: /tmp/ 表示不允许收录根目录下的tmp目录，包括目录下的文件，比如tmp/232.html

Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。文件写法User-agent: * 这里的*代表的所有的搜索引擎种类，*是一个通配符Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录Disallow: /ABC/ 这里定义是禁止爬寻ABC目录下面的目录Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。Disallow: /*?* 禁止访问网站中所有包含问号 (?) 的网址Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片Disallow:/ab/adc.html 禁止爬取ab文件夹下面的adc.html文件。Allow: /cgi-bin/　这里定义是允许爬寻cgi-bin目录下面的目录Allow: /tmp 这里定义是允许爬寻tmp的整个目录Allow: .htm$ 仅允许访问以".htm"为后缀的URL。Allow: .gif$ 允许抓取网页和gif格式图片Sitemap: 网站地图 告诉爬虫这个页面是网站地图文件用法例1. 禁止所有搜索引擎访问网站的任何部分User-agent: *Disallow: /实例分析：淘宝网的 Robots.txt文件User-agent: BaiduspiderDisallow: /User-agent: baiduspiderDisallow: /很显然淘宝不允许百度的机器人访问其网站下其所有的目录。例2. 允许所有的robot访问 (或者也可以建一个空文件 “/robots.txt” file)User-agent: *Allow:　/例3. 禁止某个搜索引擎的访问User-agent: BadBotDisallow: /例4. 允许某个搜索引擎的访问User-agent: Baiduspiderallow:/例5.一个简单例子在这个例子中，该网站有三个目录对搜索引擎的访问做了限制，即搜索引擎不会访问这三个目录。需要注意的是对每一个目录必须分开声明，而不要写成 “Disallow: /cgi-bin/ /tmp/”。User-agent:后的*具有特殊的含义，代表“any robot”，所以在该文件中不能有“Disallow: /tmp/*” or “Disallow:*.gif”这样的记录出现。User-agent: *Disallow: /cgi-bin/Disallow: /tmp/Disallow: /~joe/Robot特殊参数：允许 Googlebot：如果您要拦截除Googlebot以外的所有漫游器不能访问您的网页，可以使用下列语法：User-agent:Disallow: /User-agent: GooglebotDisallow:Googlebot 跟随指向它自己的行，而不是指向所有漫游器的行。“Allow”扩展名：Googlebot 可识别称为“Allow”的 robots.txt 标准扩展名。其他搜索引擎的漫游器可能无法识别此扩展名，因此请使用您感兴趣的其他搜索引擎进行查找。“Allow”行的作用原理完全与“Disallow”行一样。只需列出您要允许的目录或页面即可。您也可以同时使用“Disallow”和“Allow”。例如，要拦截子目录中某个页面之外的其他所有页面，可以使用下列条目：User-agent: GooglebotAllow: /folder1/myfile.htmlDisallow: /folder1/这些条目将拦截 folder1 目录内除 myfile.html 之外的所有页面。如果您要拦截 Googlebot 并允许 Google 的另一个漫游器（如 Googlebot-Mobile），可使用”Allow”规则允许该漫游器的访问。例如：User-agent: GooglebotDisallow: /User-agent: Googlebot-MobileAllow:使用 * 号匹配字符序列：您可使用星号 (*) 来匹配字符序列。例如，要拦截对所有以 private 开头的子目录的访问，可使用下列条目：　User-Agent: GooglebotDisallow: /private*/要拦截对所有包含问号 (?) 的网址的访问，可使用下列条目：User-agent: *Disallow: /*?*使用 $ 匹配网址的结束字符您可使用 $字符指定与网址的结束字符进行匹配。例如，要拦截以 .asp 结尾的网址，可使用下列条目：　User-agent: GooglebotDisallow: /*.asp$您可将此模式匹配与 Allow 指令配合使用。例如，如果 ? 表示一个会话 ID，您可排除所有包含该 ID 的网址，确保 Googlebot 不会抓取重复的网页。但是，以 ? 结尾的网址可能是您要包含的网页版本。在此情况下，可对 robots.txt 文件进行如下设置：User-agent: *Allow: /*?$Disallow: /*?Disallow: / *?一行将拦截包含 ? 的网址（具体而言，它将拦截所有以您的域名开头、后接任意字符串，然后是问号 (?)，而后又是任意字符串的网址）。Allow: /*?$ 一行将允许包含任何以 ? 结尾的网址（具体而言，它将允许包含所有以您的域名开头、后接任意字符串，然后是问号 (?)，问号之后没有任何字符的网址）。尽管robots.txt已经存在很多年了，但是各大搜索引擎对它的解读都有细微差别。Google与百度都分别在自己的站长工具中提供了robots工具。如果您编写了robots.txt文件，建议您在这两个工具中都进行测试，因为这两者的解析实现确实有细微差别。

Rbots.txt 是什么：robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。Robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。语法：最简单的 robots.txt 文件使用两条规则：User-Agent: 适用下列规则的漫游器 Disallow: 要拦截的网页下载该robots.txt文件 robots.txt 有几个常用的写法；全部开放或全部禁止{User-agent: * //表示站内针地所有搜索引擎开放；Allow: / //允许索引所有的目录；User-agent: * //表示站内针地所有搜索引擎开放；Disallow: / //禁止索引所有的目录；User-agent: * //表示站内针地所有搜索引擎开放；Disallow: //允许索引所有的目录；}这里呢，可以把[网站地图（Sitemap）] 也加进来，引导搜索引擎抓取网站地图里的内容。Sitemap: Robots.txt 使用方法：例1. 禁止所有搜索引擎访问网站的任何部分 Disallow: /例2. 允许所有的robot访问(或者也可以建一个空文件 "/robots.txt")User-agent: *Disallow: 或者User-agent: *Allow: / 例3. 仅禁止Baiduspider访问您的网站 User-agent: BaiduspiderDisallow: /例4. 仅允许Baiduspider访问您的网站 User-agent: BaiduspiderDisallow:User-agent: *Disallow: /例5. 禁止spider访问特定目录在这个例子中，该网站有三个目录对搜索引擎的访问做了限制，即robot不会访问这三个目录。需要注意的是对每一个目录必须分开声明，而不能写成 "Disallow: /cgi-bin/ /tmp/"。User-agent: *Disallow: /cgi-bin/Disallow: /tmp/Disallow: /~joe/例6.要阻止 Googlebot 抓取特定文件类型（例如，.gif）的所有文件User-agent: GooglebotDisallow: /*.gif$例7.要阻止 Googlebot 抓取所有包含 ? 的网址（具体地说，这种网址以您的域名开头，后接任意字符串，然后是问号，而后又是任意字符串）User-agent: GooglebotDisallow: /*? 更多有才资料： http://www.seorv.com

应该是robots.txt文件吧, robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。Robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。robots.txt 是一个纯文本文件，在这个文件中网站管理者可以声明该网站中不想被robots访问的部分，或者指定搜索引擎只收录指定的内容。 当一个搜索机器人robots（有的叫搜索蜘蛛或者爬虫）访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索引擎爬虫就会按照该文件中的内容来确定访问的范围；如果该文件不存在，那么搜索引擎爬虫就沿着链接抓取。robots.txt 文件限制抓取网络的搜索引擎爬虫对您的网站的访问。这些搜索引擎爬虫是自动的，它们在访问任意网站的网页之前，都会查看是否存在阻止它们访问特定网页的 robots.txt 文件。（虽然某些搜索引擎爬虫可能会以不同的方式解释 robots.txt 文件中的指令，但所有正规的搜索引擎爬虫都会遵循这些指令。然而，robots.txt 不是强制执行的，一些垃圾信息发送者和其他麻烦制造者可能会忽略它。因此，我们建议对机密信息采用密码保护。） 只有当您的网站中包含您不想让搜索引擎编入索引的内容时，才需要使用 robots.txt 文件。如果您希望搜索引擎将网站上的所有内容编入索引，则不需要 robots.txt 文件（甚至连空的 robots.txt 文件也不需要）。 为了能使用 robots.txt 文件，您必须要有对您网站的根目录的访问权限（如果您不能确定是否有该权限，请与您的网络托管商核实）。如果您没有对网站的根目录的访问权限，可以使用robots元标记来限制访问。

robots.txt并不是某一个公司制定的，而是早在20世纪93、94年就早已出现，当时还没有Google。真实Robots协议的起源，是在互联网从业人员的公开邮件组里面讨论并且诞生的。即便是今天，互联网领域的相关问题也仍然是在一些专门的邮件组中讨论，并产生（主要是在美国）。1994年6月30日，在经过搜索引擎人员以及被搜索引擎抓取的网站站长共同讨论后，正式发布了一份行业规范，即robots.txt协议。在此之前，相关人员一直在起草这份文档，并在世界互联网技术邮件组发布后，这一协议被几乎所有的搜索引擎采用，包括最早的altavista，infoseek，后来的google，bing，以及中国的百度，搜搜，搜狗等公司也相继采用并严格遵循。不允许蜘蛛来抓取的情况有很多，比如某个网站不靠搜索引擎导入流量，就可以通过robots.txt协议禁止搜索引擎抓取，因为搜索引擎频繁抓取页面会占用服务器的带宽，影响服务器性能；再比如会员登录后才能看到的内容、重复内容、程序文件等等都需要通过robots.txt文件来禁止搜索引擎抓取，一方面可以节约带宽，另一方面可以对搜索引擎友好。。。

User-agent:* 这里的*代表的所有的搜索引擎,*是一个通配符.Disallow:/plus/ad_js.php Disallow是不允许、禁止的意思,这里定义是禁止爬寻plus目录下的ad_js.php文件.下边的Disallow的意思也是禁止所有搜索引擎都不允许爬取的文件或目录.User-Agent:*Allow:/ 的意思是所有的搜索引擎都可以爬取你网站的所有内容.Robots协议用来告知搜索引擎哪些页面能被抓取,哪些页面不能被抓取；可以屏蔽一些网站中比较大的文件,如：图片,音乐,视频等,节省服务器带宽；可以屏蔽站点的一些死链接.方便搜索引擎抓取网站内容；设置网站地图连接,方便引导蜘蛛爬取页面.如果你设置了所有都可以爬取,那就不必要设置robots,上述的所有robots的作用也都没用.

robots文件屏蔽的内容：1)、图片目录图片是构成网站的主要组成元素。随着现在建站越来越方便，大量CMS建站。就存在大量的没有用到的图片，建议你应该在robots.txt文件中进行屏蔽，通常的网站图片目录是：imags 。或者 img;2)、网站模板目录如上面 图片目录 中所说，CMS的强大和灵活，网站的模板目录跟网站的内容主题不符，不利于集中网站的相关度。模板目录的文件目录是：templets3)、CSS、JS目录的屏蔽这个经常看见我们有些网站的css文件和js被收录了，想要被收录的文章没被收录，这对seo无用文件却收录，确实没有这个必要，也不利于集中网站的相关度。4)、屏蔽双页面的内容大家都知道DEDECMS可以使用静态和动态URL进行同一篇内容的访问，如果你生成全站静态了，那你必须屏蔽动态地址的URL链接。这里有两个好处：1、搜索引擎对静态的URL比动态的URL更友好、更容易收录;2、防止静态、动态URL能访问同一篇文章而被搜索引擎判为重复内容。5)、模板缓存目录很多CMS程序都有缓存目录，这种缓存目录的好处我想不用说大家也清楚了吧，可以非常有效的提升网站的访问速度，减少网站带宽，对用户体验也是很好的。不过，这样的缓存目录也有一定的缺点，那就是会让搜索引擎进行重复的抓取，一个网站中内容重复也是大祭，对网站百害而无一利，很多使用CMS建站的朋友都没有注意到，必须要引起重视。6)被删除的目录死链过多，对搜索引擎优化来说，是致命的。不能不引起站长的高度重视，。在网站的发展过程中，目录的删除和调整是不可避免的，如果你的网站当前目录不存在了，那必须对此目录进行robots屏蔽。最后，需要说明一点，很多站长朋友喜欢把站点地图地址放在robots.txt文件中，当然这里并不是去屏蔽搜索引擎，而是让搜索引擎在第一次索引网站的时候便能通过站点地图快速的抓取网站内容。这里需要注意一下：1、站点地图的制作一定要规范;2、网站一定要有高质量的内容;可以参考下面这个robots.txt文件： User-agent: * Disallow: /admin/ 后台管理文件 Disallow: /require/ 程序文件 Disallow: /attachment/ 附件 Disallow: /images/ 图片 Disallow: /data/ 数据库文件 Disallow: /template/ 模板文件 Disallow: /css/ 样式表文件 Disallow: /lang/ 编码文件 Disallow: /script/ 脚本文件User-agent: *Disallow: /*?*Disallow: /template/Disallow: /api/Disallow: /config/Disallow: /fgcl/

一、先来普及下robots.txt的概念：　　robots.txt(统一小写)是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游器(又称网络蜘蛛)，此网站中的哪些内容是不能被搜索引擎的漫游器获取的，哪些是可以被(漫游器)获取的。这个文件用于指定spider在您网站上的抓取范围，一定程度上保护站点的安全和隐私。同时也是网站优化利器，例如屏蔽捉取站点的重复内容页面。　　robots.txt目前并不是一种标准，只是一种协议!所以现在很多搜索引擎对robots.txt里的指令参数都有不同的看待。　　二、使用robots.txt需要注意的几点地方：　　1、指令区分大小写，忽略未知指令，下图是本博客的robots.txt文件在Google管理员工具里的测试结果;　　2、每一行代表一个指令，空白和隔行会被忽略;　　3、“#”号后的字符参数会被忽略;　　4、有独立User-agent的规则，会排除在通配“*”User agent的规则之外;　　5、可以写入sitemap文件的链接，方便搜索引擎蜘蛛爬行整站内容。　　6、尽量少用Allow指令，因为不同的搜索引擎对不同位置的Allow指令会有不同看待。　　三、Wordpress的robots.txt优化设置　　1、User-agent： *　　一般博客的robots.txt指令设置都是面对所有spider程序，用通配符“*”即可。如果有独立User-agent的指令规则，尽量放在通配“*”User agent规则的上方。　　2、Disallow： /wp-admin/　　Disallow： /wp-content/　　Disallow： /wp-includes/　　屏蔽spider捉取程序文件，同时也节约了搜索引擎蜘蛛资源。　　3、Disallow： /*/trackback　　每个默认的文章页面代码里，都有一段trackback的链接，如果不屏蔽让蜘蛛去捉取，网站会出现重复页面内容问题。　　4、Disallow： /feed　　Disallow： /*/feed　　Disallow： /comments/feed　　头部代码里的feed链接主要是提示浏览器用户可以订阅本站，而一般的站点都有RSS输出和网站地图，故屏蔽搜索引擎捉取这些链接，节约蜘蛛资源。　　5、Disallow： /?s=*　　Disallow： /*/?s=*　　这个就不用解释了，屏蔽捉取站内搜索结果。站内没出现这些链接不代表站外没有，如果收录了会造成和TAG等页面的内容相近。　　6、Disallow： /?r=*　　屏蔽留言链接插件留下的变形留言链接。(没安装相关插件当然不用这条指令)　　7、Disallow： /*.jpg$　　Disallow： /*.jpeg$　　Disallow： /*.gif$　　Disallow： /*.png$　　Disallow： /*.bmp$　　屏蔽捉取任何图片文件，在这里主要是想节约点宽带，不同的网站管理员可以按照喜好和需要设置这几条指令。　　8、Disallow： /?p=*　　屏蔽捉取短链接。默认头部里的短链接，百度等搜索引擎蜘蛛会试图捉取，虽然最终短链接会301重定向到固定链接，但这样依然造成蜘蛛资源的浪费。　　9、Disallow： /*/comment-page-*　　Disallow： /*?replytocom*　　屏蔽捉取留言信息链接。一般不会收录到这样的链接，但为了节约蜘蛛资源，也屏蔽之。　　10、Disallow： /a/date/　　Disallow： /a/author/　　Disallow： /a/category/　　Disallow： /?p=*&preview=true　　Disallow： /?page_id=*&preview=true　　Disallow： /wp-login.php　　屏蔽其他的一些形形色色的链接，避免造成重复内容和隐私问题。　　10、Sitemap:http://***.com/sitemap.txt　　网站地图地址指令，主流是txt和xml格式。告诉搜索引擎网站地图地址，方便搜索引擎捉取全站内容，当然你可以设置多个地图地址。要注意的就是Sitemap的S要用大写，地图地址也要用绝对地址。　　上面的这些Disallow指令都不是强制要求的，可以按需写入。也建议站点开通谷歌管理员工具，检查站点的robots.txt是否规范。

Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。Robots协议的本质是网站和搜索引擎爬虫的沟通方式，用来指导搜索引擎更好地抓取网站内容，而不是作为搜索引擎之间互相限制和不正当竞争的工具。User-agent: * 这里的*代表的所有的搜索引擎种类，*是一个通配符Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录　Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录　Disallow: /ABC/ 这里定义是禁止爬寻ABC目录下面的目录　Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。　Disallow: /*?* 禁止访问网站中所有的动态页面　Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片　Disallow:/ab/adc.html 禁止爬取ab文件夹下面的adc.html文件。　Allow: /cgi-bin/　这里定义是允许爬寻cgi-bin目录下面的目录　Allow: /tmp 这里定义是允许爬寻tmp的整个目录　Allow: .htm$ 仅允许访问以".htm"为后缀的URL。　Allow: .gif$ 允许抓取网页和gif格式图片

网站的robots.txt文件一定要存放在网站的根目录。搜索引擎来网站抓取内容的时候，首先会访问你网站根目录下的一个文本文件robots.txt，搜索引擎机器人通过robots.txt里的说明，来理解该网站是否可以全部抓取，或只允许部分抓取。注意：网站的robots.txt文件一定要存放在网站的根目录。robots.txt文件举例说明禁止所有搜索引擎访问网站的任何内容User-agent: *Disallow: / 禁止所有搜索引擎抓取某些特定目录User-agent: *Disallow: /目录名1/Disallow: /目录名2/Disallow: /目录名3/ 允许访问特定目录中的部分urlUser-agent: *Allow: /158Allow: /joke 禁止访问网站中所有的动态页面User-agent: *Disallow: /*?*仅允许百度抓取网页和gif格式图片，不允许抓取其他格式图片User-agent: BaiduspiderAllow: /*.gif$Disallow: /*.jpg$Disallow: /*.jpeg$Disallow: /*.png$Disallow: /*.bmp$ 1.屏蔽404页面Disallow: /404.html 2.屏蔽死链原来在目录为/158下的所有链接，因为目录地址的改变，现在都变成死链接了，那么我们可以用robots.txt把他屏蔽掉。Disallow： /158/ 3.屏蔽动态的相似页面假设以下这两个链接，内容其实差不多。/XXX?123/123.html我们要屏掉/XXX?123 页面，代码如下：Disallow： /XXX? 4.告诉搜索引擎你的sitemap.xml地址

User-agent: *Disallow:Allow: /

在分析亚马逊的robots协议之前我们先应该明确的是网络爬虫会带来的风险和问题，这样才能更好的理解亚马逊为什么禁止网络爬虫访问这些内容，如果访问的话会造成什么危害。 最简单的robots.txt只有两个规则： User-agent：指定对哪些爬虫生效 Disallow：指定要屏蔽的网址 接下来以亚马逊的robots协议为例，分析其内容。 首先，先来分析亚马逊对于网络爬虫的限制。是否有有“特殊权限”的爬虫？ 爬虫抓取时会声明自己的身份，这就是User-agent，就是http协议里的User-agent。robots.txt利用User-agent来区分各个引擎的爬虫。 *代表该内容下面Disallow的部分是禁止所有爬虫爬取的。因此robots协议中提及的“禁区”是针对于所有网络爬虫的，没有单独提及的爬虫。与之对应来看，我们会发现淘宝的robots协议中明确禁止百度的网络爬虫爬取。而百度的一些网站是允许百度爬虫任意爬取的。接下来分析亚马逊向网络爬虫屏蔽的内容有哪些。 Disallow 行列出的是要拦截的网页，以正斜线 (/) 开头，可以列出特定的网址或模式。要屏蔽整个网站，使用正斜线即可;要屏蔽某一目录以及其中的所有内容，在目录名后添加正斜线;要屏蔽某个具体的网页，就指出这个网页。 下面代表wishlist中允许访问的目录universal*、 vendor-button* 、get-button*仔细观察禁止访问，发现了一些“看得懂”的内容： 其中禁止了网络爬虫模仿用户的行为进行诸如给商品评分、发送电子邮件、分享到twitter的行为，这是十分合理的。试想若是不禁止网络爬虫模仿用户的行为，不仅可能会给网站的性能造成影响，可能会出现爬虫造成的恶意评分，以亚马逊名义发送内容无法保证的邮件的事件的发生。这样的行为会对亚马逊的交易环境和形象产生影响。 同时禁止爬虫访问历史、物流信息的请求可以避免用户的交易信息泄露造成麻烦。下面禁止访问的内容诸如登陆、退出账户，身份，订单地址、详细信息、历史、修改、记录，推荐浏览，浏览量，选择支付方式，选择物流，物流查询，购物车等。 其中的很多禁止爬取的都是已登录的账户才可以访问的内容，若是不禁止网络爬虫进行访问，则可能会出现网络爬虫模拟用户操作进行操作的现象发生，造成用户隐私泄露。 禁止爬虫爬取浏览量，浏览内容，推荐浏览等内容是亚马逊防止信息被爬取后被挪作他用牟利，比如“复制网站”的情况发生。

Robots协议是网站出于安全和隐私考虑，防止搜索引擎抓取敏感信息而设置的。搜索引擎的原理是通过一种爬虫spider程序，自动搜集互联网上的网页并获取相关信息。而鉴于网络安全与隐私的考虑，每个网站都会设置自己的Robots协议，来明示搜索引擎，哪些内容是愿意和允许被搜索引擎收录的，哪些则不允许。搜索引擎则会按照Robots协议给予的权限进行抓取。Robots协议代表了一种契约精神，互联网企业只有遵守这一规则，才能保证网站及用户的隐私数据不被侵犯。违背Robots协议将带来巨大安全隐忧——此前，曾经发生过这样一个真实的案例：国内某公司员工郭某给别人发了封求职的电子邮件，该Email存储在某邮件服务公司的服务器上。因为该网站没有设置robots协议，导致该Email被搜索引擎抓取并被网民搜索到，为郭某的工作生活带来极大困扰。如今，在中国国内互联网行业，正规的大型企业也都将Robots协议当做一项行业标准，国内使用Robots协议最典型的案例，就是淘宝网拒绝百度搜索、京东拒绝一淘搜索。不过，绝大多数中小网站都需要依靠搜索引擎来增加流量，因此通常并不排斥搜索引擎，也很少使用Robots协议。北京市汉卓律师事务所首席律师赵虎表示，Robots协议是维护互联网世界隐私安全的重要规则。如果这种规则被破坏，对整个行业就是灭顶之灾。

每个人都有自己的隐私，每个网站也都有隐私；人可将隐私藏在心底，网站可以用robots进行屏蔽，让别人发现不了，让蜘蛛无法抓取，小蔡简单浅析下Robots协议语法及在SEO中的妙用，对新手更好理解及把握！什么是Robots协议？Robots协议（也称为爬虫协议、机器人协议等）是约束所有蜘蛛的一种协议。搜索引擎通过一种程序robot（又称spider），自动访问互联网上的网页并获取网页信息。您可以在您的网站中创建一个纯文本文件robots.txt，网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。Robots.txt作用1、屏蔽网站内的死链接。2、屏蔽搜索引擎蜘蛛抓取站点内重复内容和页面。3、阻止搜索引擎索引网站隐私性的内容。（例如用户账户信息等）Robots.txt放在哪？robots.txt 文件应该放置在网站根目录下（/robots.txt）。举例来说，当spider访问一个网站（比如http://www.chdseo.com）时，首先会检查该网站中是否存在robots.txt这个文件，如果 Spider找到这个文件，它就会根据这个文件内容的规则，来确定它访问权限的范围。Robots写法Robots一般由三个段和两个符号组成，看个人需求写规则。最好是按照从上往下的顺序编写（由实践证明这顺序影响不大）。三个字段（记得“:”后面加空格）User-agent: 用户代理 Disallow: 不允许Allow: 允许 （/ 代表根目录，如 Allow: / 允许所有）两个符号星号 * 代表所有0-9 A-Z #通配符 $ 以某某个后缀具体用法：例1. 禁止所有搜索引擎访问网站的任何部分User-agent: *Disallow: /例2. 允许所有的robot访问(或者也可以建一个空文件 "/robots.txt")User-agent: *Disallow:或者User-agent: *Allow: /例3. 仅禁止Baiduspider访问您的网站User-agent: BaiduspiderDisallow: /禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。User-agent: *Disallow: /cgi-bin/*.htm$例4.禁止Baiduspider抓取网站上所有图片；仅允许抓取网页，禁止抓取任何图片。User-agent: BaiduspiderDisallow: .jpg$Disallow: .jpeg$Disallow: .gif$Disallow: .png$Disallow: .bmp$例5.仅允许Baiduspider访问您的网站User-agent: BaiduspiderDisallow:User-agent: *Disallow: /例6.允许访问特定目录中的部分url（根据自己需求定义）User-agent: *Allow: /cgi-bin/seeAllow: /tmp/hiAllow: /~joe/lookDisallow: /cgi-bin/例7.不允许asp后缀User-agent: *Disallow: /*.asp

根据协议，网站管理员可以在网站域名的根目录下放一个robots.txt 文本文件，里面可以指定不同的网络爬虫能访问的页面和禁止访问的页面，指定的页面由 正则表达式 表示。网络爬虫在采集这个网站之前，首先获取到这个文件，然后解析到其中的规则，然后根据规则来采集网站的数据。 注意，这个协议的存在更多的是需要网络爬虫去遵守，而起不到防止爬虫的功能。 互联网上的网页是通过超级链接互相关联起来的，从而形成了网页的网状结构。爬虫的工作方式就像蜘蛛在网上沿着链接爬来爬去，最基本的 流程 可以简化如下： 了解了上面的流程就能发现：对爬虫来说网站非常 被动 ，只有老老实实被抓取的份。 所以，对于网站的管理者来说，就存在这样的需求： 某些路径下是个人隐私或者网站管理使用，不想被搜索引擎抓取，比如说 日本爱情动作片 ； 不喜欢某个搜索引擎，不愿意被他抓取，最有名的就是之前 淘宝不希望被百度抓取 ； 小网站使用的是公用的虚拟主机，流量有限或者需要付费，希望搜索引擎抓的温柔点； 某些网页是动态生成的，没有直接的链接指向，但是希望内容被搜索引擎抓取和索引。 网站内容的所有者是网站管理员，搜索引擎应该尊重所有者的意愿，为了满足以上等等，就需要提供一种网站和爬虫进行沟通的途径，给网站管理员表达自己意愿的机会。有需求就有供应， robots 协议 就此诞生。 京东的Robots协议 https://www.jd.com/robots.txt 百度的Robots协议 上面， *代表所有，/代表根目录 既然网络爬虫在爬取一个网站之前，要先获取到这个文件，然后解析到其中的规则，那么，Robots就必须要有一套通用的语法规则。 最简单的robots.txt只有两条规则： User-agent：指定对哪些爬虫生效 Disallow：指定要屏蔽的网址 先说User-agent，爬虫抓取时会声明自己的身份，这就是User-agent，没错，就是http协议里的User-agent。robots.txt利用User-agent来区分各个引擎的爬虫，比如说google网页搜索爬虫的User-agent为Googlebot。 可能有读者要问了，我怎么知道爬虫的User-agent是什么?你还可以查 相关搜索引擎的资料 得到官方的数据，比如说百度的爬虫列表是这样的： Disallow 行列出的是要拦截的网页，以正斜线 (/) 开头，可以列出特定的网址或模式。要屏蔽整个网站，使用正斜线即可;要屏蔽某一目录以及其中的所有内容，在目录名后添加正斜线;要屏蔽某个具体的网页，就指出这个网页。 下面介绍一些实例: 或者也可以建一个空文件 "/robots.txt" file。 我们再来结合两个真实的范例来学习一下。先看这个例子： 这个是淘宝网的Robots协议内容，相信你已经看出来了，淘宝网禁止百度的爬虫访问。 再来看一个例子： 这个稍微复杂点，京东有2个目录不希望所有的爬虫来抓。同时，京东完全屏蔽了一淘网的蜘蛛（EtaoSpider是一淘网的蜘蛛）。 sitemap 爬虫会通过网页内部的链接发现新的网页。但是如果没有链接指向的网页怎么办?或者用户输入条件生成的动态网页怎么办?能否让网站管理员通知搜索引擎他们网站上有哪些可供抓取的网页?这就是 sitemap ， 最简单的 Sitepmap 形式就是 XML 文件 ，在其中列出网站中的网址以及关于每个网址的其他数据(上次更新的时间、更改的频率以及相对于网站上其他网址的重要程度等等)，利用这些信息搜索引擎可以更加智能地抓取网站内容。 新的问题 来了，爬虫怎么知道这个网站有没有提供sitemap文件，或者说网站管理员生成了sitemap，(可能是多个文件)，爬虫怎么知道放在哪里呢? 由于robots.txt的位置是固定的，于是大家就想到了把sitemap的位置信息放在robots.txt里。这就成为robots.txt里的新成员了。 节选一段google robots.txt： Sitemap: http://www.gstatic.com/cultur... Sitemap: http://www.google.com/hostedn... 插一句，考虑到一个网站的网页众多，sitemap人工维护不太靠谱，google提供了工具可以自动生成sitemap。 meta tag 其实严格来说这部分内容不属于robots.txt。 robots.txt的初衷是为了让网站管理员管理可以出现在搜索引擎里的网站内容。但是，即使使用 robots.txt文件让爬虫无法抓取这些内容，搜索引擎也可以通过其他方式找到这些网页并将它添加到索引中。例如，其他网站仍可能链接到该网站。因此，网页网址及其他公开的信息(如指向相关网站的链接中的定位文字或开放式目录管理系统中的标题)有可能会出现在引擎的搜索结果中。如果想彻底对搜索引擎 隐身 那咋整呢?答案是：元标记，即meta tag。 比如要完全阻止一个网页的内容列在搜索引擎索引中(即使有其他网站链接到此网页)，可使用 noindex 元标记。只要搜索引擎查看该网页，便会看到 noindex 元标记并阻止该网页显示在索引中，这里注意 noindex 元标记提供的是一种逐页控制对网站的访问的方式。 要防止所有搜索引擎将网站中的网页编入索引，在网页的部分添加： 这里的 name取值 可以设置为某个搜索引擎的 User-agent 从而指定屏蔽某一个搜索引擎。 除了noindex外，还有其他元标记，比如说nofollow，禁止爬虫从此页面中跟踪链接。详细信息可以参考Google支持的元标记，这里提一句：noindex和nofollow在 HTML4.01规范 里有描述，但是其他tag的在不同引擎支持到什么程度各不相同，还请读者自行查阅各个引擎的说明文档。 Crawl-delay 除了控制哪些可以抓哪些不能抓之外，robots.txt还可以用来控制爬虫抓取的速率。如何做到的呢?通过设置爬虫在两次抓取之间等待的秒数。这种操作可以进行缓解服务器压力。 表示本次抓取后下一次抓取前需要等待5秒。 注意 ： google已经不支持这种方式了，在webmaster tools里提供了一个功能可以更直观的控制抓取速率。 这里插一句题外话，几年前曾经有一段时间robots.txt还支持复杂的参数:Visit-time，只有在visit-time指定的时间段里，爬虫才可以访问;Request-rate:用来限制URL的读取频率，用于控制不同的时间段采用不同的抓取速率。后来估计支持的人太少，就渐渐的废掉了，目前google和baidu都已经不支持这个规则了，其他小的引擎公司貌似 从来都 没有支持过。 网络爬虫： 自动或人工识别robots.txt，再进行内容爬取 约束性: Robots协议是建议但非约束性，网络爬虫可以不遵守，但存在法律风险。 原则：类人行为可以不参考Robots协议。 Robots协议不是什么技术壁垒，而只是一种互相尊重的协议，好比私家花园的门口挂着“闲人免进”，尊重者绕道而行，不尊重者依然可以推门而入。目前，Robots协议在实际使用中，还存在一些问题。 缓存 robots.txt本身也是需要被抓取的，出于效率考虑，一般爬虫不会每次抓取网站网页前都抓一下robots.txt，加上robots.txt更新不频繁，内容需要解析。通常爬虫的做法是先抓取一次，解析后缓存下来，而且是相当长的时间。假设网站管理员更新了robots.txt，修改了某些规则，但是对爬虫来说并不会立刻生效，只有当爬虫下次抓取robots.txt之后才能看到最新的内容。尴尬的是，爬虫下次抓取robots.txt的时间并不是由网站管理员控制的。当然，有些搜索引擎提供了web工具可以让网站管理员通知搜索引擎那个url发生了变化，建议重新抓取。注意，此处是建议，即使你通知了搜索引擎，搜索引擎何时抓取仍然是不确定的，只是比完全不通知要好点。至于好多少，那就看搜索引擎的良心和技术能力了。 ignore 不知是无意还是有意，反正有些爬虫不太遵守或者完全忽略robots.txt，不排除开发人员能力的问题，比如说根本不知道robots.txt。另外，本身robots.txt不是一种强制措施，如果网站有数据需要保密，必需采取技术措施，比如说：用户验证，加密，ip拦截，访问频率控制等。恶意爬虫 在互联网世界中，每天都有不计其数的爬虫在日夜不息地爬取数据，其中恶意爬虫的数量甚至高于非恶意爬虫。遵守Robots协议的爬虫才是好爬虫，但是并不是每个爬虫都会主动遵守Robots协议。 恶意爬虫可以带来很多潜在威胁，比如电商网站的商品信息被爬取可能会被竞争对手利用，过多的爬虫还会占用带宽资源、甚至导致网站宕机。你学会了吗~~~？ 点个赞吧！！！

一、定义: robots.txt 是存放在站点根目录下的一个纯文本文件，让搜索蜘蛛读取的txt文件，文件名必须是小写的“robots.txt”。 二、作用: 通过robots.txt可以控制搜索引擎收录内容，告诉蜘蛛哪些文件和目录可以收录，哪些不可以收录。 三、语法: User-agent:搜索引擎的蜘蛛名 Disallow:禁止搜的内容 Allow:允许搜的内容 四、实例： 1.User-agent: * //禁止所有搜索引擎搜目录1、目录2、目录3 Disallow: /目录名1/ Disallow: /目录名2/ Disallow: /目录名3/ 2. User-agent: Baiduspider //禁止百度搜索secret目录下的内容 Disallow: /secret/ 3. User-agent: * //禁止所有搜索引擎搜索cgi目录，但是允许slurp搜索所有 Disallow: /cgi/ User-agent: slurp Disallow: 4. User-agent: * //禁止所有搜索引擎搜索haha目录，但是允许搜索haha目录下test目录 Disallow: /haha/ Allow:/haha/test/ 五、常见搜索引擎蜘蛛的代码 #搜索引擎User-Agent代码对照表 以上是rotbots.txt使用方法，更多的到yy6359频道学习吧

robot 机器人 复数是 直接在后面加s,即 robots如 There are two robots in the room.

1、robots协议是一种存放于网站根目录下的ASCII编码的文本文件。用于对外宣誓主权，规定按照允许范畴访问网站，有效保护网站的隐私。所以您想通过技术手段访问网站的时候，请首先查看robots.txt文件，它告诉你哪些可以访问，哪些信息是不允许访问的。（Robots协议是国际互联网界通行的道德规范） 2、robots主要涉及以下三个部分：第一种：禁止所有搜索引擎访问网站的任何内容 User-agent: * Disallow: / 第二种：禁止某个特定的搜索引擎访问网站的任何内容 User-agent: Baiduspider Disallow: / 第三种：允许所有搜索引擎访问网站的任何内容 User-agent: * Allow:　/ 第四种：禁止部分内容被访问(tmp目录及下面的内容都禁止了） User-agent: * Disallow: /tmp 第五种：允许某个搜索引擎的访问 User-agent: Baiduspider allow:/ 第六种：部分允许，部分不允许访问 User-agent: Baiduspider Disallow: /tmp/bin User-agent:* allow:/tmp 希望以上总结对您有帮助！！！！！

原因：完整句子：Robots will never be able to wake up and know where they are．分析句子，时态是一般将来时，主语是Robots机器人，谓语动词是will never be able to wake up and know将永远无法醒来就知道，宾语是where they are它们在哪里。翻译：机器人将永远无法醒来就知道它们在哪里。一、robots1、含义：机器人。robot的复数。2、用法：直接源自捷克语的robotnik，意为奴隶。These robots will save us a lot of labor.这些机器人可以节省我们大量劳工。二、will1、含义：aux. 将；愿意；必须。2、用法：will用作助动词时主要用于构成将来时，在美式英语中各个人称均可用will构成将来时，而在英式英语中则多用于第二、第三人称。在英式英语中当主语是“第二〔第三〕人称+I〔we〕”时也多使用will。A country must have the will to repel any invader.一个国家得有决心击退任何入侵者。三、able1、含义：adj. 能够的；有能力的；能干的。2、用法：able是具有评价意义的形容词，用于表示人的某种特点。able有两层含义：一是“能够”(尤用于不使用can或could的时态中)；二是“能干”。前者指因具有体力、智力、技能、时间、财力或机遇等而具有某种能力，通常也指应付一件事情的能力，有时还可表示“称职的”。后者指具有某种才干，即在智力、技巧、知识或能力等方面超过平均水平，胜人一筹，不仅指聪明，也含有经受过实际锻炼之意。We shall be able to deal with all sorts of problem.我们应该能够应付各种困难。四、wake1、含义：v. 醒来；唤醒；意识到。2、用法：wake的基本意思是“唤醒”，可表示由于外界因素把处于睡眠状态的人“唤醒”或“某事〔物〕唤起了某人的回忆”，引申可指“使醒悟”“激发”“引起”。I usually wake up early.我通常醒得很早。五、up1、含义：adv. 向上；起来；上升；往上。2、用法：up用作介词的意思是“向…上，向〔在〕…的顶上”。还可表示“往…的上端，向…的较高处，顺着…向上〔北〕; 往〔在〕…地上游〔发源地〕，在…”。up常指街道等长度远远超过宽度。Put the packet up on the top shelf.把这个包放到架子顶格上去。

　　动态网站并不值得担心，搜索引擎可以正常抓取动态链接，但利用robots文件可以轻松提高动态网站的抓取效率。我们都知道，robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol)，网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。Robots协议的本质是网站和搜索引擎爬虫的沟通方式，用来指导搜索引擎更好地抓取网站内容。　　百度官方是推荐所有的网站都使用robots文件，以便更好地利用蜘蛛的抓取。其实robots不仅仅是告诉搜索引擎哪些不能抓取，更是网站优化的重要工具之一。　　robots文件实际上就是一个txt文件。其基本的写法如下：　　User-agent: * 这里的*代表的所有的搜索引擎种类，*是一个通配符　　Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录　　Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录　　Disallow: /ABC/ 这里定义是禁止爬寻ABC目录下面的目录　　Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。　　Disallow: /*?* 禁止访问网站中所有的动态页面　　Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片　　Disallow:/ab/adc.html 禁止爬取ab文件夹下面的adc.html文件。　　Allow: /cgi-bin/　这里定义是允许爬寻cgi-bin目录下面的目录　　Allow: /tmp 这里定义是允许爬寻tmp的整个目录　　Allow: .htm$ 仅允许访问以".htm"为后缀的URL。　　Allow: .gif$ 允许抓取网页和gif格式图片　　在网站优化方面，利用robots文件告诉搜索引擎哪些是重要的内容，不重要的内容均推荐用robots文件来禁止抓取。不重要的内容的典型代表：网站的搜索结果页面。　　对于静态网站来说，我们可以利用Disallow: /*?*来禁止动态页面抓取。但对于动态网站来说，就不能简单地这样做了。不过对于动态网站的站长来说，也无需过于担心，搜索引擎现在可以正常地抓取动态页面。那么在写的时候，就要注意了，我们可以具体到搜索文件的名称来写。比如你的站是search.asp?后面一大串，那么可以这样写：　　Disallow: /search.asp?*　　这样就可以屏蔽搜索结果页面了，写好了可以到百度站长平台检测robots一下，看看有没有错误!可以输入网址检测一下，是不是正常生效了。

有时候我们建站前期忘记写robots.txt文件了，很多我们不想让搜索引擎收录的内容却被收录了，这个时候会发现好像过了很长时间我们不想让收录的页面还是处于被收录的状态，到底robots生效要多久呢？百度lee曾在公开场合说过：不同的站点略有不同，但通常在几天内陆续生效。其实我们可以假想下robots生效的过程：1.蜘蛛发现robots文件修改并将信息传回2.分析修改前后的robots文件3.删除不允许被收录的索引数据这个过程中肯能还会存在其他的一些步骤，然而由于每个网站蜘蛛爬的频率和网站的权重不同（网站的重要性）而导致蜘蛛发现robots更改的时间延时或者被处理的优先性不同，最终导致的结果就是robots的生效时间不同。通过以上分析我们可以得出robots的生效时间并不是一定的，如果你的robots更改后很久都没有生效的话，可以去这里投诉：tousu.baidu.com

罗-巴兹。。。

机器人的意思。["rou028abu0252ts]白字：肉脖特。

robots意思：机器人。robots读音：英音["ru0259u028abu0252ts]美音["rou028abu0252ts]。robots基本解释：n.机器人（robot的名词复数）；遥控装置；自动机；机械呆板的人。robots变化形式：易混淆的单词：Robots。句子1、The massive airport,shaped like a starfish,features a giant Chinese garden and customer-service robots providing flight information.这座大型机场，形状类似海星，配有大型中式庭院和提供航班信息的客服机器人。2、Will robots steal all our jobs?机器人会抢我们的饭碗吗？3、These cars are built by robots.这些汽车是由机器人制造的。4、No doubt such robots would be very useful in the homes of the able-bodied,too.毫无疑问，这样的机器人在健全人的家里也会非常有用。

楼主您好： 读法为：ru bao si 英 ["ru0259u028abu0252ts] 　 美 ["ru0259u028abu0252ts]

搜索引擎爬去我们页面的工具叫做搜索引擎机器人，也生动的叫做“蜘蛛”蜘蛛在爬去网站页面之前，会先去访问网站根目录下面的一个文件，就是robots.txt。这个文件其实就是给“蜘蛛”的规则，如果没有这个文件，蜘蛛会认为你的网站同意全部抓取网页。Robots.txr文件是一个纯文本文件，可以告诉蜘蛛哪些页面可以爬取（收录），哪些页面不能爬取。举个例子：建立一个名为robots.txt的文本文件，然后输入User-agent: * 星号说明允许所有搜索引擎收录Disallow: index.php? 表示不允许收录以index.php?前缀的链接，比如index.php?=865Disallow: /tmp/ 表示不允许收录根目录下的tmp目录，包括目录下的文件，比如tmp/232.html

搜索引擎spider(蜘蛛)在访问一个网站时，会首先会检查该网站目录是否有一个文件叫做robots.txt的纯文本文件，这个文件用于指定spider(蜘蛛)在你网站是的抓取的范围. 简单点来说就是你想让他抓取的哪部分和你不想让他抓取的某部分。当一个搜索机器人robots（有的叫搜索蜘蛛或者爬虫）访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索引擎爬虫就会按照该文件中的内容来确定访问的范围；如果该文件不存在，那么搜索引擎爬虫就沿着链接抓取。User-agent:（不允许）该项的值用于描述搜索引擎robot的名字。在"robots.txt"文件中，如果有多条User-agent记录说明有多个robot会受 到"robots.txt"的限制，对该文件来说，至少要有一条User-agent记录。如果该项的值设为，则对任何robot均有效， 在"robots.txt"文件中，"User-agent:"这样的记录只能有一条。如果在"robots.txt"文件中，加入"User- agent:SomeBot"和若干Disallow、Allow行，那么名为"SomeBot"只受到"User-agent:SomeBot"后面的 Disallow和Allow行的限制。如果单独写出来，则这个蜘蛛只受其下面的几个Disallow和Allow行限制。没写出来的，受User-agent: * 限制。

　　Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol)，网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取.　　从SEO的角度，robots.txt文件是一定要设置的，原因：　　网站上经常存在这种情况：不同的链接指向相似的网页内容。这不符合SEO上讲的“网页内容互异性原则”。采用robots.txt文件可以屏蔽掉次要的链接。　　网站改版或URL重写优化时原来不符合搜索引擎友好的链接需要全部屏蔽掉。采用robots.txt文件删除旧的链接符合搜索引擎友好。　　一些没有关键词的页面，比如本站的这个页面，屏蔽掉更好。　　一般情况下，站内的搜索结果页面屏蔽掉更好。

robots.txt并不是某一个公司制定的，而是早在20世纪93、94年就早已出现，当时还没有Google。真实Robots协议的起源，是在互联网从业人员的公开邮件组里面讨论并且诞生的。即便是今天，互联网领域的相关问题也仍然是在一些专门的邮件组中讨论，并产生（主要是在美国）。1994年6月30日，在经过搜索引擎人员以及被搜索引擎抓取的网站站长共同讨论后，正式发布了一份行业规范，即robots.txt协议。在此之前，相关人员一直在起草这份文档，并在世界互联网技术邮件组发布后，这一协议被几乎所有的搜索引擎采用，包括最早的altavista，infoseek，后来的google，bing，以及中国的百度，搜搜，搜狗等公司也相继采用并严格遵循。Robot，又称Spider，是搜索引擎自动获取网页信息的电脑程序的通称。Robots协议的核心思想就是要求Robot程序不要去检索那些站长们不希望被直接搜索到的内容。将约束Robot程序的具体方法规范成格式代码，就成了Robots协议。一般来说，网站是通过Robots.txt文件来实现Robots协议。自有搜索引擎之日起，Robots协议已是一种目前为止最有效的方式，用自律维持着网站与搜索引擎之间的平衡，让两者之间的利益不致过度倾斜。它就像一个钟摆，让互联网上的搜索与被搜索和谐相处。

答案:the robot是单数。因为robot是可数名词，它的复数是robots。robot ,机器人的意思。举例来说。 The robot is helpful for me.这台机器人对我来说是有帮助的。 The robots are useful for us.这些机器人对我们是有用的。 Do you like robots?你喜欢机器人吗??

Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。robots.txt文件是一个文本文件，使用任何一个常见的文本编辑器，比如Windows系统自带的Notepad，就可以创建和编辑它 。robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。百度官方建议，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。

Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。

　　"robots.txt"文件包含一条或更多的记录，这些记录通过空行分开（以CR,CR/NL, or NL作为结束符），每一条记录的格式如下所示： 　　":"。 　　在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。该文件中的记录通常以一行或多行User-agent开始，后面加上若干Disallow行,详细情况如下： 　　User-agent: 　　该项的值用于描述搜索引擎robot的名字，在"robots.txt"文件中，如果有多条User-agent记录说明有多个robot会受到该协议的限制，对该文件来说，至少要有一条User-agent记录。如果该项的值设为*，则该协议对任何机器人均有效，在"robots.txt"文件中，"User-agent:*"这样的记录只能有一条。 　　Disallow: 　　该项的值用于描述不希望被访问到的一个URL，这个URL可以是一条完整的路径，也可以是部分的，任何以Disallow开头的URL均不会被robot访问到。例如"Disallow:/help"对/help.html 和/help/index.html都不允许搜索引擎访问，而"Disallow:/help/"则允许robot访问/help.html，而不能访问/help/index.html。任何一条Disallow记录为空，说明该网站的所有部分都允许被访问，在"/robots.txt"文件中，至少要有一条Disallow记录。如果"/robots.txt"是一个空文件，则对于所有的搜索引擎robot，该网站都是开放的。 　　Allow: 　　该项的值用于描述希望被访问的一组URL，与Disallow项相似，这个值可以是一条完整的路径，也可以是路径的前缀，以Allow项的值开头的URL是允许robot访问的。例如"Allow:/hibaidu"允许robot访问/hibaidu.htm、/hibaiducom.html、/hibaidu/com.html。一个网站的所有URL默认是Allow的，所以Allow通常与Disallow搭配使用，实现允许访问一部分网页同时禁止访问其它所有URL的功能。 　　需要特别注意的是Disallow与Allow行的顺序是有意义的，robot会根据第一个匹配成功的Allow或Disallow行确定是否访问某个URL。 　　使用"*"和"$"： 　　robots支持使用通配符"*"和"$"来模糊匹配url： 　　"$" 匹配行结束符。 　　"*" 匹配0或多个任意字符。

要搜索引擎不爬行主站,在robots.txt里加入以下程序:User-agent:*Disallow:/然后把以上这个robots.txt放到主站的根目录.至于子目录这个站,不需要特别的robots.txt,只要有外链连接到你的子目录这个站的一级域名,搜索引擎就会自动爬行了.不然也可以自己到搜索引擎提交域名.

搜索引擎spider(蜘蛛)在访问一个网站时，会首先会检查该网站目录是否有一个文件叫做robots.txt的纯文本文件，这个文件用于指定spider(蜘蛛)在你网站是的抓取的范围. 简单点来说就是你想让他抓取的哪部分和你不想让他抓取的某部分。当一个搜索机器人robots（有的叫搜索蜘蛛或者爬虫）访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索引擎爬虫就会按照该文件中的内容来确定访问的范围；如果该文件不存在，那么搜索引擎爬虫就沿着链接抓取。User-agent:（不允许）该项的值用于描述搜索引擎robot的名字。在"robots.txt"文件中，如果有多条User-agent记录说明有多个robot会受 到"robots.txt"的限制，对该文件来说，至少要有一条User-agent记录。如果该项的值设为，则对任何robot均有效， 在"robots.txt"文件中，"User-agent:"这样的记录只能有一条。如果在"robots.txt"文件中，加入"User- agent:SomeBot"和若干Disallow、Allow行，那么名为"SomeBot"只受到"User-agent:SomeBot"后面的 Disallow和Allow行的限制。如果单独写出来，则这个蜘蛛只受其下面的几个Disallow和Allow行限制。没写出来的，受User-agent: * 限制。

robots

robots英 [u02c8ru0259u028abu0252ts]美 [robɑts]n. [自] 机器人（robot的复数形式）更多释义>>[网络短语]Robots 机器人历险记,Robots,机器人历险记Robots Kingdom 机器人统治者Space Robots 空间机器人,空间机器人的,航天机器人详细用法>>

网站的Robots规则如何写才正确？ Robots协议用来告知搜索引擎哪些页面能被抓取，哪些页面不能被抓取；可以屏蔽一些网站中比较大的文件，如：图片，音乐，视频等，节省服务器带宽；可以屏蔽站点的一些死链接。方便搜索引擎抓取网站内容；设置网站地图连接，方便引导蜘蛛爬取页面。下面是Robots文件写法及文件用法。一、文件写法 User-agent: * 这里的*代表的所有的搜索引擎种类，*是一个通配符 Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录 Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录 Disallow: /ABC/ 这里定义是禁止爬寻ABC目录下面的目录 Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。 Disallow: /*?* 禁止访问网站中所有包含问号 (?) 的网址 Disallow: /.jpg$ 禁止抓取网页所有的。jpg格式的图片 Disallow:/ab/adc.html 禁止爬取ab文件夹下面的adc.html文件。 Allow: /cgi-bin/　这里定义是允许爬寻cgi-bin目录下面的目录 Allow: /tmp 这里定义是允许爬寻tmp的整个目录 Allow: .htm$ 仅允许访问以".htm"为后缀的URL。 Allow: .gif$ 允许抓取网页和gif格式图片 Sitemap: 网站地图 告诉爬虫这个页面是网站地图 二、文件用法 例1. 禁止所有搜索引擎访问网站的任何部分 User-agent: * Disallow: / 实例分析：淘宝网的 Robots.txt文件 User-agent: Baiduspider Disallow: / User-agent: baiduspider Disallow: / 很显然淘宝不允许百度的机器人访问其网站下其所有的目录。 例2. 允许所有的robot访问 (或者也可以建一个空文件 “/robots.txt” file) User-agent: * Allow:　/ 例3. 禁止某个搜索引擎的访问 User-agent: BadBot Disallow: / 例4. 允许某个搜索引擎的访问 User-agent: Baiduspider allow:/ 例5.一个简单例子 在这个例子中，该网站有三个目录对搜索引擎的访问做了限制，即搜索引擎不会访问这三个目录。 需要注意的是对每一个目录必须分开声明，而不要写成 “Disallow: /cgi-bin/ /tmp/”。 User-agent:后的*具有特殊的含义，代表“any robot”，所以在该文件中不能有“Disallow: /tmp/*” or “Disallow:*.gif”这样的记录出现。 User-agent: * Disallow: /cgi-bin/ Disallow: /tmp/ Disallow: /~joe/ Robot特殊参数： 允许 Googlebot： 如果您要拦截除Googlebot以外的所有漫游器不能访问您的网页，可以使用下列语法： User-agent: Disallow: / User-agent: Googlebot Disallow: Googlebot 跟随指向它自己的行，而不是指向所有漫游器的行。 “Allow”扩展名： Googlebot 可识别称为“Allow”的 robots.txt 标准扩展名。其他搜索引擎的漫游器可能无法识别此扩展名，因此请使用您感兴趣的其他搜索引擎进行查找。“Allow”行的作用原理完全与“Disallow”行一样。只需列出您要允许的目录或页面即可。 您也可以同时使用“Disallow”和“Allow”。例如，要拦截子目录中某个页面之外的其他所有页面，可以使用下列条目： User-agent: Googlebot Allow: /folder1/myfile.html Disallow: /folder1/ 这些条目将拦截 folder1 目录内除 myfile.html 之外的所有页面。 如果您要拦截 Googlebot 并允许 Google 的另一个漫游器（如 Googlebot-Mobile），可使用”Allow”规则允许该漫游器的访问。例如： User-agent: Googlebot Disallow: / User-agent: Googlebot-Mobile Allow: 使用 * 号匹配字符序列： 您可使用星号 (*) 来匹配字符序列。例如，要拦截对所有以 private 开头的子目录的访问，可使用下列条目：　User-Agent: Googlebot Disallow: /private*/ 要拦截对所有包含问号 (?) 的网址的访问，可使用下列条目： User-agent: * Disallow: /*?* 使用 $ 匹配网址的结束字符 您可使用 $字符指定与网址的结束字符进行匹配。例如，要拦截以 .asp 结尾的网址，可使用下列条目：　User-agent: Googlebot Disallow: /*.asp$ 您可将此模式匹配与 Allow 指令配合使用。例如，如果 ? 表示一个会话 ID，您可排除所有包含该 ID 的网址，确保 Googlebot 不会抓取重复的网页。但是，以 ? 结尾的网址可能是您要包含的网页版本。在此情况下，可对 robots.txt 文件进行如下设置： User-agent: * Allow: /*?$ Disallow: /*? Disallow: / *? 一行将拦截包含 ? 的网址（具体而言，它将拦截所有以您的域名开头、后接任意字符串，然后是问号 (?)，而后又是任意字符串的网址）。 Allow: /*?$ 一行将允许包含任何以 ? 结尾的网址（具体而言，它将允许包含所有以您的域名开头、后接任意字符串，然后是问号 (?)，问号之后没有任何字符的网址）。 Robots协议举例 禁止所有机器人访问User-agent:*Disallow:/ 允许所有机器人访问User-agent:*Disallow: 禁止特定机器人访问User-agent:BadBotDisallow:/ 允许特定机器人访问User-agent:GoodBotDisallow: 禁止访问特定目录User-agent:*Disallow:/images/ 仅允许访问特定目录User-agent:*Allow:/images/Disallow:/ 禁止访问特定文件User-agent:*Disallow:/*.html$ 仅允许访问特定文件User-agent:*Allow:/*.html$Disallow:/ 尽管robots.txt已经存在很多年了，但是各大搜索引擎对它的解读都有细微差别。Google与百度都分别在自己的站长工具中提供了robots工具。如果您编写了robots.txt文件，建议您在这两个工具中都进行测试，因为这两者的解析实现确实有细微差别。 更多青晟网络资讯请登录官方网站：http://www.qmvip.net或者http://www.qhqswl.cn

百度lee曾在公开场合说过：不同的站点略有不同，但通常在几天内陆续生效。 其实我们可以假想下robots生效的过程： 1.蜘蛛发现robots文件修改并将信息传回 2.分析修改前后的robots文件 3.删除不允许被收录的索引数据 这个过程中肯能还会存在其他的一些步骤，然而由于每个网站蜘蛛爬的频率和网站的权重不同（网站的重要性）而导致蜘蛛发现robots更改的时间延时或者被处理的优先性不同，最终导致的结果就是robots的生效时间不同。 通过以上分析我们可以得出robots的生效时间并不是一定的，如果你的robots更改后很久都没有生效的话，可以去这里投诉：tousu.baidu.com 阅读本文的人还感兴趣：搜索引擎对网页的大小有要求吗？robots.txt的写法为什么网站有收录却没有排名?为什么网页收录了又被删除了？

Robots是一个英文单词，对英语比较懂的朋友相信都知道，Robots的中文意思是机器人。而我们通常提到的主要是Robots协议，这也是搜索引擎的国际默认公约。Robots协议通常被称为是爬虫协议、机器人协议，主要是在搜素引擎中会见到，其本质是网站和搜索引擎爬虫的沟通方式，用来指导搜索引擎更好地抓取网站内容，而不是作为搜索引擎之间互相限制和不正当竞争的工具。百度为什么称360违反Robots协议呢?主要是因为百度认为360搜素对自身产生了竞争，百度不希望自己旗下的贴吧，文库，知道，百科等网站产品，被360搜素收录，并且在Robots协议中标注屏蔽360搜素，而360直接绕过了robots协议继续采集百度旗下产品网站的信息，因此被百度起诉。简单的说，任何网站只要在其robots协议中加入禁止某搜索引擎访问，那么该搜索引擎就无权收录该网站的内容。而robots的重要性在于，一个网站有权利可以存在于互联网中，但又不被指定的搜索引擎索引放到搜索结果中，因为搜索引擎在互联网上就像国王，网站就是每个人的小家，而robots协议则是对抗国王的最后利器，正所谓“风能进雨能进国王不能进”。在网站中，Robots协议是一个记事本文件，我们只要将Robots.txt文件放置在网站跟目录，里边可以标注，哪些网站目录不希望被搜索引擎抓取即可，

浏览器需要遵守Robots协议。协议简单理解可以理解成大家共同遵守的一个标准，只要是网页浏览器肯定需要支持最常见的协议，一些不常用的就看各浏览器是否支持了。Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（RobotsExclusionProtocol）。

由于此网站机器人限制

不用就可以了 http://www.szxrd168.com/cn/news.asp?id=24

The robot is very hard-working,it the each hour engrave each time all Be working for you.You after morning get up,you will discover it has already taken good your clothes in one side waiting,then helps you to put on.You need not cook a meal and then can eat to the delicacy a tasty food,because the robot works well rice for you already.How go to school you don"t even worry,you as long as carry on the back up the schoolbag,the robot can take you to the school after school immediately,if you watch a television first,the robot will shine red light,warning you and making the homework completion watching the television first at,if you think looking back once today a teacher speak of contents,will appear a small television to look back the knowledge that the teacher speak with you together before the chest in the robot,if your have can"t of hard nut to crack,robot elephant a teacher"s assistant is similar to help you to answer.The robot can do a lot of matters for you,and will also bring you an infinite happiness not only.When you meet the disagreeable feeling,the robot will accompany your chat actively,saying heart-to-heart talk with you together,stiring you continuously,until you are happy.When you feel a boring and lonesome demand colleague,the robot will shake once the body change,becoming a together age person,say with you together and heartily that smile and play heartily,open happy the nature does game.If you were hungry,you wanted to eat what things,as long as pressed once red button.The robot will ready to the food that you have to eat by quickest speed for you,letting you eat to delicious of food. If you want to drink beverage,wanting only according to the once green button,the robot will also go fetch beverage by quickest speed to let you drink a for you enough.If you run into a bad person,wanting only according to the once yellow button,the robot will rout all of the bad persons. If go out to run into blocking up a car,you as long as press blue a button,the robot will take you to fly to block up the car region more,continue to open ago.If you thought of the bottom of sea world to play,that wants only according to the once purple button,the robot will take the beautiful landscape …… that you sneak in bottom of sea to appreciate bottom of sea