佛山天清科技专注佛山网站建设,关键词排名优化,长尾词霸屏系统!
佛山网站建设,佛山网站优化,佛山网络推广
佛山网站建设 > 新闻资讯 > 什么是robots文件?robot文件怎么写?
什么是robots文件?robot文件怎么写?
编辑 :

佛山网站建设

时间 : 2019-04-09 14:20 浏览量 : 91

  我们在制作网站的过程中有时候会用到robots文件,那什么是robots文件?robot文件要怎么去写呢?这篇文章就为你解答一下这给问题。


  说到这个robots文件很多做网站的朋友都很熟悉把,基本上每一个网站的根目录下面都会有这给文件的存在。虽然知道有这么一个文件的存在,但是依然有很多人不知道它的用途是什么,就不要说去改动或者是添加它里面的内容了,其实你要是了解robots文件对于做网站的你来说百利而无一害的。


  robots.txt用于限制蜘蛛在你网站上面的抓取权限,哪些网页(或者文件夹)你不想让蜘蛛收录到,就在robots里面禁止蜘蛛去爬nofollow通常用在链接当中,告诉蜘蛛不要跟踪这个链接(不要将网页权重传给这个链接),一般用法都是加上链接上...,当然也可以用在网页的头文件,不过很少见。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。


  有什么什么办法阻止搜索引擎的收录,因为自己网站上面有的东西不想被搜索引擎收录。其实是可以实现的,在这里就有必要用到robots文件,因为通过这个robots文件全完可以实现搜索引擎收录的问题。其实不管是企业网站还是门户网站,上面都会有些资料是保密而不对外公开的。怎么样做到不对外公开呢?唯一的保密的措施就是不让搜索引擎来搜录这些信息。这样就会不在网络上公司,那么要实现这个网站页面不收录,就体了robots文件作用啦!robots文件是一个简单的记事本文件,这是网站管理员和搜录引擎对话的一个通道。在这个文件中网站管理者可以声明该网站中不想被robots访问的部分,或者指定搜索引擎只收录指定的内容。当一个搜索机器人(有的叫搜索蜘蛛)访问一个站点时,它会首先检查该站点根目录下是否存在robots文件,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,那么搜索机器人就沿着链接抓取。


  那robots文件我们要怎么写呢?下面给大家介绍一下robots.txt文件的写法:


  User-agent:*这里的*代表的所有的搜索引擎种类,*是一个通配符


  Disallow:/admin/这里定义是禁止爬寻admin目录下面的目录


  Disallow:/require/这里定义是禁止爬寻require目录下面的目录


  Disallow:/require/这里定义是禁止爬寻require目录下面的目录


  Disallow:/ABC这里定义是禁止爬寻ABC整个目录


  Disallow:/cgi-bin/*.htm禁止访问/cgi-bin/目录下的所有以".htm"为后缀的url(http://www.58wangcai.cn/包含子目录)。


  Disallow:/*?*禁止访问网站中所有的动态页面


  Disallow:.jpg$禁止抓取网页所有的.jpg格式的图片


  Disallow:/ab/adc.html禁止爬去ab文件夹下面的adc.html所有文件


  User-agent:*这里的*代表的所有的搜索引擎种类,*是一个通配符


  Allow:/cgi-bin/这里定义是允许爬寻cgi-bin目录下面的目录


  Allow:/tmp这里定义是允许爬寻tmp的整个目录


  Allow:.htm$仅允许访问以".htm"为后缀的URL。


  Allow:.gif$允许抓取网页和gif格式图片


  以上就是佛山网站建设为大家带来的内容,希望这些内容能给大家带来一定的帮助,有关任何网站问题都可以咨询站长哟!欢迎骚扰。


你可能喜欢:

NEWS INFORMATION

佛山建设建设资讯

  • 超低建站费用

  • 具备营销能力

  • 强大SEO功能

  • 贴心售后技术

cache
Processed in 0.043963 Second.