|
|
关于robots文件
关于robots文件，主要是为了告诉蜘蛛哪些可以抓取，哪些不可以被抓取，对于网站SEO优化而言，做好robots也是很重要的一步~
robots文件的核心词汇在于allow和disallow用法。
并且在百度站长平台上都有robots这个功能，只要我们点击进入，就可以查看文件编写的正确不正确了。
如何写robots文件？
如何写robots文件
既然知道了作用以及特性，我们就要学习怎么写一个robots文件了，最简便的方法莫过于实用工具生成了，在这里我就给大家讲讲关于站长工具生成robots文件。
如下图所示。 站长工具里面的robots文件生成操作非常的简单，在限制目录写上需要屏蔽的目录记得加上 / ，sitemap文件也需要屏蔽，xml和html（如果2个都有的话都加上） ， 其余选项各位随意就好。
以上就是robots.txt文件的生成，只需要把文件上传到网站根目录就OK了~ |
|
