百度不收录网站的原因我大致分为内容问题、结构设计问题以及其他问题。网站不被收录,我们就无法将网站的信息更好的传达给我们的目标受众。下面我将围绕前面提到的三个问题,阐述下百度不收录的原因,并纠正一些其他的个人认为概念上的错误问题:
1.新站处于百度考核期
看到有些人表达的观点是新站处于百度考核期可能会不被收录。我对这种观点表示不赞成。只要是新站,新域名,在结构以及内容上面如果不是高度重复的话,一般都会被收录。至于所说的百度考核期,我们表示不认同,百度考核期应该是在网站首页被收录后,不收录其他页面时该考虑的问题。
2.您网站的robots协议禁止百度抓取
每个网站都有一个robots.txt,搜索引擎来的网站的时候,会先查看这个文件,百度蜘蛛与google机器人不同之处也在于此,当google机器人去爬网站,发现robots设置了禁止蜘蛛的抓取时,蜘蛛就会退出,不抓取任何网站内容;而百度对设置robots的生效时间不是即使的,所以当您设置好robots时,可能您的网站已经被百度收录(可能由于您提交至搜索引擎或者是发布过导入链接),所以robots协议禁止百度抓取而导致不收录的几率是非常的小。
3.网站内容有敏感语言
百度被央视曝光了以后,对抓取内容可能会更加规范。对于一些带有敏感性话题的内容,会不进行抓取,这个也是造成不收录。虽说个人站长可能在发布文章时不会带此言语,但是我们不能确定给我们留言评论的内容是否带有这些敏感内容,我们不能确定网站是否被入侵,在网站内部生成了一些敏感性的页面内容。所以,在留言评论方面,我们要做好严格的审核机制,要定期做网站内部文件进行整理。
4.其他问题
目前遇到一种情况就是后缀名为.cn.com的域名在百度暂时不被收录,而在google收录良好,具体原因还不清楚。