全球主机交流论坛

标题: 浏览器访问和模拟蜘蛛不一样，这是那个环节的问题 [打印本页]

作者: COOCOO 时间: 2012-9-15 10:28
标题: 浏览器访问和模拟蜘蛛不一样，这是那个环节的问题
www.ctrl-f.cn

这个网站，我用浏览器访问一切正常，但是搜索引擎收录不正常，用网上的模拟蜘蛛工具也是提示未beian网站被屏蔽：
http://www.baidu.com/s?wd=www.ctrl-f.cn&rsv_bp=0&rsv_spt=3&rsv_sug3=12&rsv_sug4=785&rsv_sug1=8&inputT=5319
http://i.linkhelper.cn/robots.asp?weburl=www.ctrl-f.cn&pagecode=utf-8

robots.txt也没有问题：

User-agent: *
Disallow: /admin/
Disallow: /include/
Disallow: /config.php

发现其他不少网站也有这个问题，这是哪个环节出问题了呢，求分析。

作者: ccc 时间: 2012-9-15 10:30
收录不正常的很多啊

作者: 单手摘月 时间: 2012-9-15 10:30
提示: 作者被禁止或删除内容自动屏蔽

作者: im286 时间: 2012-9-15 10:31
原因很多啊

欢迎光临全球主机交流论坛 (https://loc.fffk.eu.org/)