昨夜,一位SEO友人问我一个这样的问题:百度蜘蛛每天都来爬取网站,却只收录首页,文章页及其他页面均未收录,问我是怎么回事?
其实这个问题非常普遍,可以从两个方面分析:
1. 网站内部优化是否完善;
2. 时间问题(文章够原创,站内优化够完善,迟早会收录)。
我们主要来谈谈第一个问题:网站内部优化。
其实SEO是什么?SEO不是单纯的迎合百度及其他搜索引擎,他是时刻随用户的体验度来考量网站是否合适。在当今的互联网大环境下,暂时还是随着大多数用户的习惯性体验来对你的网站进行抓取,拍照,索引。网站优化分为两部分:站内+站外。站内就是网站结构调整+页面HTML调整,站外就是外链建设+丰富的社交圈。
网站只收录首页,可以说这没什么,因为如果一个网站连首页都不能收录,那实在是太失败了。为什么没有抓取内页,自己也要好好想想原因。
比如:首页是否用了大量的FLASH、JS做脚本装饰,是否给搜索引擎留了通往内页的入口,我们知道,蜘蛛很不愿意看到Frame,不是它不喜欢,而且它看不懂,它能做的只是一条条的爬取,你首页有链接可供它点击,它才有可能进入到你的内页,一层层的广度爬行。如果你使用了大量的框架,脚本,完全将带动器封闭在你的框架里,那么蜘蛛无法进入,它只能一次次的在你的首页徘徊。
新站不建议使用这种网站结构,最好调整一下,首页尽量避免动态显示(不是指URL)。
再看下面:
已经做了H标签加粗,却没有设置内链,指向文章内页,要知道,蜘蛛是非常看中H标签的,它非常想要了解,你里面到底写的什么,但是它进不去,你只是在最后的“阅读全文”给它留了入口,它没那么大的耐心,对它而言,H标签才重要的多,所以要学会利用自己的平台资源,切勿浪费。
下面是我给你的建议:
将此页面作为博客首页,遵循蜘蛛的爬取习惯规则,可以这么说,这可以最大程度加深你的博客文章被抓取,但记得一些必要的内链要做好,平时要多看一些软文写作方面的教材,不要一味的贴近教材,在写之前,要思考一下,用户会不会搜索你写的文章标题,这篇文章写出来,对互联网的意义有多少,是不是用户所需求的,需求量大不大,这些都是长尾词要考虑的流量因素,还有,尽量图文并茂(包括发外链)。
再稍微规划一下,看下面这张图:
一看就明白,在此处调用一个留言板块,站点基本成型。
最后,来看一下robots文件:
robots里有些文件没有必要写上去。
两个重要的建议:
1. 在robots的最下面写上网站的地图地址,两个都要写。
参考样式:
Sitemap: http://domain/sitemap.html
Sitemap: http://domain/sitemap.xml
2. 新站,自己在发外链的事情,请带上自己网站的地图链接,不说原因,这很重要。
以上就是二毛自己对“百度蜘蛛每天都来爬取网站,却只收录首页是怎么回事?”的个人解读,希望大家从中能够学到对自己有用的一处或两处。
呵呵
0 人
震惊
0 人
赞
1 人
鄙视
0 人
流泪
0 人