04
2013
08

robots.txt金宝博188金宝博官网注册对网站的影响-seo常见问题

 

 1月份中旬,我负责的一个网站,网站流量突然下降了至5分之一的流量。于是我查询下了百度收录量。发现这个网站网站收录页面数量为9000多,之前为13万多。难怪流量下降这么明显。
 这个网站是一个论坛,7月份对它进行了静态化处理。当时上线后不久,网站收录正常,没有大面积减少的迹象。由于任务繁重,加上每天对网站的数据进行观察也没有明显的流量下降的迹象。
 1月份中旬才下降明显。通过对收录的页面的观察,我发现,百度只收录了网站的8080端口页面,而且几乎只收录了动态地址,对于静态地址几乎没有收录。谷歌查询收录量,竟然为0.
 这就让人费解了。我可是从来没遇到过这样的问题,当时刚好ZAC在PHPWIND在线访谈,于是我就问了他这个问题。他当时的回答也没有解决我的问题。可能这个问题在其他地方很少出现过吧。
 通过对问题一个一个的排查,不久,我终于找到了问题所在。原来,在8月份,技术修改了robots.txt文件。
 当时金宝博188是这样的:
 
#
 # robots.txt for Discuz! Board
 # Version 6.0.0
 #
 
User-agent: *
 Disallow: /
 Disallow: /admin/
 Disallow: /api/
 Disallow: /attachments/
 Disallow: /customavatars/
 Disallow: /images/
 Disallow: /forumdata/
 Disallow: /include/
 Disallow: /ipdata/
 Disallow: /templates/
 Disallow: /plugins/
 Disallow: /mspace/
 Disallow: /wap/
 Disallow: /admincp.php
 Disallow: /ajax.php
 Disallow: /digest.php
 Disallow: /logging.php
 Disallow: /member.php
 Disallow: /memcp.php
 Disallow: /misc.php
 Disallow: /my.php
 Disallow: /pm.php
 Disallow: /post.php
 Disallow: /register.php
 Disallow: /rss.php
 Disallow: /search.php
 Disallow: /seccode.php
 Disallow: /topicadmin.php
 Disallow: /space.php
 
     不知道大家有没有发现上面的金宝博188金宝博官网注册,其实金宝博官网注册已经很明显了。就是第一条语句有错。不应该是Disallow: /
 而是Allow:/ 或者这句话就干脆不写,直接删除这条语句。
      别小看这多写的3个字母,却让搜索引擎的蜘蛛从此不再抓取你的网页。网站收录量变开始慢慢下降,知道从搜索引擎数据库中删除。例如谷歌几乎等于删除这个网站的页面。让百度蜘蛛误认为只有抓8080端口页面才允许抓取。
      而实际上8080端口是无法访问的。为了最大的减少损失,我于是叫技术立刻恢复对8080端口的访问。几天后,流量有所上升,网站收录量恢复到2万多,但是离13万相差甚远。谷歌收录也有2万多,收录很正常。但是百度仍然只收录8080端口,偶尔收录下默认端口,而且动态的占大多数,静态的占及少数。
      通过论坛管理员的后台数据显示,网站整体的流量几乎下降了3分之2.
 目前问题还在处理中,希望能早日恢复流量。
      总结:作为一名seo,对于网站的robots.txt一定要定期检查一次,建议1个月一次,同时对技术人员进行SEO相关的培训。让技术人员了解基本的SEO知识。最好制定技术部门的SEO规范。让大家有个参考。
 

     DICK发表此文章时间2011-02-17:欢迎转载!本文地址:http://www.huyong.org.cn/564.html   

 

« 上一篇下一篇 »

评论列表:

1.西瓜影院  2015-1-17 6:54:28 回复该留言
值得看看,支持下博主!呵呵!
2.新鲜事  2015-1-17 6:55:18 回复该留言
收藏了。值得一看!!
3.威客网  2016-1-17 14:01:37 回复该留言
支持下博主

发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。