在讨论这个话题之前,我们先来了解一下robots的概念和制作:
robots文本概念:这个文件主要是给搜索引擎看的,搜索引擎在进入网站时,首先会访问FTP服务器里的robots.txt文本,你需要在文本里设置推荐给搜索引擎看的网页或者目录,以及拒绝搜索引擎收录的网页或者目录(拒绝这一项是我们经常做的)。
重要的一点:robots文本制作好后,一定是放在FTP的根目录。(类似:http://domain.com/robots.txt)
下面我们来看一下robots.txt文本的制作:
1)手工制作(不是很难):
1. User-agent: *(*通配符/代表所有搜索引擎)
Disallow: / (否定前缀/不允许)
Allow: / (允许)
2. User-agent: baiduspider (蜘蛛名称/百度/网站日志查询)
Disallow: /
User-agent: googlebot (蜘蛛名称/谷歌/网站日志查询)
Disallow: /
3. User-agent: * AB
Allow: /目录1/目录2.html(容许访问目录2中的网页)
Disallow: /目录1/
举例:
User-agent: * A邀请B来A家去玩
Disallow: /A/ 得罪B
Allow: /目录1/目录2.html(容许访问目录2中的网页)
4. 其他解释:
Disallow: /?* 不要爬行以?开头的页面或者是文件夹
Disallow: /*?* 不要爬行网站内的动态页面
特别提示:目前百度的算法已经非常精明,不必再为动态、静态的事情犯愁,百度官方指南明确里面,动态和静态页面,都一样收录。
下面是我们今天要提的重点内容:
先看一个范例:
User-agent: *
Disallow: /目录1/1.html
Disallow: /目录3/
Disallow: /目录5/
Sitemap: /sitemap.xml(推荐地图)
Sitemap: /sitemap.html(推荐地图)
将网站地图加入robots.txt文本中,可促进网页更好的收录,试想一下,搜索引擎首先看的是robots.txt文本文件,你把网站地图直接放在里面,让搜索引擎自己去点击,去看,相信比任何激发蜘蛛的方法都要好吧!
网站收录情况很差,自己分析不出原因,不妨看看robots.txt文本这一项是否设置对了。
2) 利用工具自动创建robots.txt文本文件(非常简单):
现在有很多站长工具类网站可以自动创建robots.txt文本,站长只需输入目录或者网页即可在线生成robots.txt文本。
举例说明:http://tool.chinaz.com/robots/
不用多说,相信大家已经看到robots文本里加入网站地图的重要性了,至于如何生成,请自行学习,非常简单。
网站收录特别差?robots文本文件里加入网站地图,站内优化最佳选择!
文章写到这里,有不懂的可以联系二毛,第一时间为你解答。
呵呵
1 人
震惊
0 人
赞
1 人
鄙视
0 人
流泪
0 人