robots.txt 也挡不住百度收录带 replytocom 的链接啊

之前发现百度并没有严格遵守 noindex nofollow 规则,收录了一些链接中带 replytocom 参数的页面。随后就在 robots.txt 中加入规则,禁止任何爬虫访问带 replytocom 参数的地址。已经在 Google Webmaster 中测试该规则有效。可是今天发现在更新 robots.txt 之后发表的文章 Matching Game ppt 制作还是被百度收录了带 replytocom 的链接。

robots.txt 也挡不住百度收录带 replytocom 的链接

robots.txt 也挡不住百度收录带 replytocom 的链接

©

本文发表于水景一页。永久链接:<https://cnzhx.net/m/20120927158/>。转载请保留此信息及相应链接。

雁过留声,人过留名

您的电子邮箱地址不会被公开。 必填项已用 * 标注

特别提示:与当前文章主题无关的讨论相关但需要较多讨论求助信息请发布到水景一页讨论区的相应版块,谢谢您的理解与合作!请参考本站互助指南
您可以在评论中使用如下的 HTML 标记来辅助表达: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>