今日,在谷歌查询时发现,何清勇SEO博客首页被谷歌K掉了,进入谷歌网站管理员工具,发现如下提示:

谷歌检测到的异常信息

上面的图片中,显示网站的sitemap.xml状态错误,另外robots.txt文件阻止谷歌爬行。

最后结果:

昨天,为了不让搜索引擎蜘蛛程序爬行一些文章评论的链接,之前的robots.txt文件:

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-admin/
Disallow: /wp-content/
Allow: /wp-content/uploads/
Disallow: /wp-includes/
Disallow: /tool/
Disallow:/author?
Disallow: /*?*
Disallow: /#comment-?
Sitemap: http://www.scseoer.com/sitemap.xml
经过测试,该文件中“Disallow: /#comment-?”阻止谷歌蜘蛛爬行,修改后的robots.txt:
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-admin/
Disallow: /wp-content/
Allow: /wp-content/uploads/
Disallow: /wp-includes/
Disallow: /tool/
Disallow:/author
Disallow: /*?*
Disallow: /*comment
Sitemap: http://www.scseoer.com/sitemap.xml

目前测试通过,sitemap地图文件检测有效,等待谷歌蜘蛛爬行,预计明日主页回复收录。

PS:我们在对robots.txt文件进行调整的时候,务必先使用检测工具(谷歌网站管理员工具)进行测试,以便造成一些不必要的麻烦。

PS:2010-11-21 16:18查询,博客首页已经恢复。