之前发现百度并没有严格遵守 noindex nofollow 规则，收录了一些链接中带 replytocom 参数的页面。随后就在 robots.txt 中加入规则，禁止任何爬虫访问带 replytocom 参数的地址。已经在 Google Webmaster 中测试该规则有效。可是今天发现在更新 robots.txt 之后发表的文章 Matching Game ppt 制作还是被百度收录了带 replytocom 的链接。
robots.txt 也挡不住百度收录带 replytocom 的链接
本文发表于水景一页。永久链接：<http://cnzhx.net/m/20120927158/>。转载请保留此信息及相应链接。