- N +

robots.txt文件相关问题及用途

robots.txt文件是站长们所关心的问题,robots.txt 文件是引导搜索引擎Spider抓取网站的文件,合理的使用robots.txt文件可以防止自己网站内秘密的网页不被搜索引擎抓取和公布,只让搜索引擎抓取和收录能够带来排名的流量的页面,下面我们就讨论robots.txt的相关问题。

1.网站需要写robots.txt 文件吗?

对于有需要屏蔽Spider抓取的内容网站,是需要 写robots.txt 文件 的,但是对于希望把所有内容全部开放给搜索引擎的话,就没有必要了,那么做SEO优化,还需要不需要 robots.txt 文件呢?

2012年11月1日,百度,360和搜狗等国内主流搜索引擎签署了《互联网搜索引擎服务自律公约》,表态全部支持 robots.txt文件协议。而搜索引擎为了支持这个协议,也会在蜘蛛最开始进入网站的时候,首先访问 robots.txt这个文件 ,所以建议各位站长还是给网站添加 robots.txt 文件 。

2.robots.txt文件可以声明网站地图

 robots.txt 文件对应搜索引擎的原理

robots.txt文件相关问题及用途

robots.txt文件除了有限制搜索引擎抓取的功能之外,还可以声明网站地图,这一点Google Webmaster 做的比较到位,可以直接提交网站地图给Google ,也可以在robots.txt文件中添加声明:Sitemap:http//example.com/Sitemap_location.xml 此声明可以放到robots.txt文件的任何位置,便于蜘蛛抓取网站的url。

3.robots.txt文件的具体用途

一般来说,我们使用robots.txt文件用来屏蔽不想被搜索引擎抓取的页面,但是哪些页面一般不想让蜘蛛抓取呢?简单举个例子

(1)多版本的url形式,比如一个网站url有动态和静态,如果不希望搜索引擎抓取动态页面,那么就可以在robots.txt,文件中屏蔽站内的动态链接。

(2)如果网站改版或者因为某种原因突然删除了大量页面,网站出现了大量的死链接,我们都知道死链接在搜索引擎上很不利的,除了给搜索引擎百度直接提交死链之外,最好的方式就是,屏蔽掉这些链接。

(3)常规的不希望搜索引擎抓取的内容,比如用户的隐私,用户数据,管理后台等页面都可以用robots,txt文件屏蔽掉。

以上就是robots.txt 文件的相关问题及常见功能,合理的使用 robots.txt 文件 ,可以保护网站的隐私数据,还可以只给搜索引擎展现网站高质量的一面。最后,如果你不会写 robots.txt 文件 ,那么你可以多看同行业的 robots.txt 文件,然后针对自己的网站做出修改。


返回列表
上一篇:如何提高网站的权重?
下一篇:链接农场和内容农场是什么?