扬中旺财建站工作室专注扬中网站建设,扬中做网站,镇江网站建设!
打开客服菜单
邦权科技官网
扬中网站建设 > 新手教程 > 什么是robots文件?robot文件怎么写?
什么是robots文件?robot文件怎么写?
编辑 : 旺财 时间 : 2017-12-12 17:57 浏览量 : 41

我们在制作网站的过程中有时候会用到robots文件,那什么是robots文件?robot文件要怎么去写呢?这篇文章就为你解答一下这给问题。

说到这个robots文件很多做网站的朋友都很熟悉把,基本上每一个网站的根目录下面都会有这给文件的存在。虽然知道有这么一个文件的存在,但是依然有很多人不知道它的用途是什么,就不要说去改动或者是添加它里面的内容了,其实你要是了解robots文件对于做网站的你来说百利而无一害的。

robots.txt用于限制蜘蛛在你网站上面的抓取权限,哪些网页(或者文件夹)你不想让蜘蛛收录到,就在robots里面禁止蜘蛛去爬nofollow通常用在链接当中,告诉蜘蛛不要跟踪这个链接(不要将网页权重传给这个链接),一般用法都是加上链接上...,当然也可以用在网页的头文件,不过很少见。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。

有什么什么办法阻止搜索引擎的收录,因为自己网站上面有的东西不想被搜索引擎收录。其实是可以实现的,在这里就有必要用到robots文件,因为通过这个robots文件全完可以实现搜索引擎收录的问题。其实不管是企业网站还是门户网站,上面都会有些资料是保密而不对外公开的。怎么样做到不对外公开呢?唯一的保密的措施就是不让搜索引擎来搜录这些信息。这 样就会不在网络上公司,那么要实现这个网站页面不收录,就体了robots文件作用啦!robots文件是一个简单的记事本文件,这是网站管理 员和搜录引擎对话的一个通道。在这个文件中网站管理者可以声明该网站中不想被robots访问的部分,或者指定搜索引擎只收录指定的内容。当一个搜索机器人(有的叫搜索蜘蛛)访问一个站点时,它会首先检查该站点根目录下是否存在robots文件,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,那么搜索机器人就沿着链接抓取。

那robots文件我们要怎么写呢?下面给大家介绍一下robots.txt文件的写法:

User-agent: *    这里的*代表的所有的搜索引擎种类,*是一个通配符
Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录
Disallow: /require/   这里定义是禁止爬寻require目录下面的目录
Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录
Disallow: /ABC 这里定义是禁止爬寻ABC整个目录
Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的。
Disallow: /*?* 禁止访问网站中所有的动态页面
Disallow: .jpg$ 禁止抓取网页所有的.jpg格式的图片
Disallow:/ab/adc.html 禁止爬去ab文件夹下面的adc.html所有文件
User-agent: *   这里的*代表的所有的搜索引擎种类,*是一个通配符
Allow: /cgi-bin/  这里定义是允许爬寻cgi-bin目录下面的目录
Allow: /tmp 这里定义是允许爬寻tmp的整个目录
Allow: .htm$ 仅允许访问以".htm"为后缀的URL。
Allow: .gif$ 允许抓取网页和gif格式图片

以上就是扬中网站建设为大家带来的内容,希望这些内容能给大家带来一定的帮助,有关任何网站问题都可以咨询站长哟!欢迎骚扰。


  • 超低建站费用

  • 具备营销能力

  • 强大SEO功能

  • 贴心售后技术支持

cache
Processed in 0.004444 Second.