返回列表 发新帖

37

主题

38

帖子

267

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
267
发表于 2017-8-11 16:31:57 | 显示全部楼层 | 阅读模式
关于robots文件
关于robots文件,主要是为了告诉蜘蛛哪些可以抓取,哪些不可以被抓取,对于网站SEO优化而言,做好robots也是很重要的一步~
robots文件的核心词汇在于allow和disallow用法。
并且在百度站长平台上都有robots这个功能,只要我们点击进入,就可以查看文件编写的正确不正确了。
SEO1.jpg                               
如何写robots文件?

如何写robots文件
既然知道了作用以及特性,我们就要学习怎么写一个robots文件了,最简便的方法莫过于实用工具生成了,在这里我就给大家讲讲关于站长工具生成robots文件。
如下图所示。 站长工具里面的robots文件生成操作非常的简单,在限制目录写上需要屏蔽的目录记得加上 / ,sitemap文件也需要屏蔽,xml和html(如果2个都有的话都加上) , 其余选项各位随意就好。
以上就是robots.txt文件的生成,只需要把文件上传到网站根目录就OK了~
回复

使用道具 举报

发表回复

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则