作业帮 > 综合 > 作业

下面这个robots是什么 意思?

来源：学生作业帮 编辑：拍题作业网作业帮 分类：综合作业 时间：2024/05/15 19:26:28
下面这个robots是什么 意思?
User-agent:*
Disallow:/plus/ad_js.php
Disallow:/plus/advancedsearch.php
Disallow:/plus/car.php
Disallow:/plus/carbuyaction.php
Disallow:/plus/shops_buyaction.php
Disallow:/plus/erraddsave.php
Disallow:/plus/posttocar.php
Disallow:/plus/disdls.php
Disallow:/plus/feedback_js.php
Disallow:/plus/mytag_js.php
Disallow:/plus/rss.php
Disallow:/plus/search.php
Disallow:/plus/recommend.php
Disallow:/plus/stow.php
Disallow:/plus/count.php
Disallow:/include
Disallow:/templets
如果下面这样写的话,会有什么危害吗?
User-Agent:*
Allow:/
User-agent:* 这里的*代表的所有的搜索引擎,*是一个通配符.
Disallow:/plus/ad_js.php Disallow是不允许、禁止的意思,这里定义是禁止爬寻plus目录下的ad_js.php文件.
下边的Disallow的意思也是禁止所有搜索引擎都不允许爬取的文件或目录.
User-Agent:*
Allow:/ 的意思是所有的搜索引擎都可以爬取你网站的所有内容.
Robots协议用来告知搜索引擎哪些页面能被抓取,哪些页面不能被抓取；可以屏蔽一些网站中比较大的文件,如：图片,音乐,视频等,节省服务器带宽；可以屏蔽站点的一些死链接.方便搜索引擎抓取网站内容；设置网站地图连接,方便引导蜘蛛爬取页面.
如果你设置了所有都可以爬取,那就不必要设置robots,上述的所有robots的作用也都没用.
再问： 如果同意抓取所有信息，会不会影响到网站的安全呢？
下面这个泰文的意思是什么? 下面这个字是什么 Robots can turn the page .意思 下面这个淘宝什么意思, 请教下面德语句子...zu."这个zu是什么词性,中文意思是什么呀? will everyone have robots?答语是什么 上面一个“鼓”,下面一个“登”,这个字读什么?意思是什么? 下面这个元件是什么?还有LINE和LOAD是什么意思,是输入和输出的意思吗 解释一下这个“意思”是什么“意思” minus这个意思是什么? 下面惯用语的意思是什么 下面这篇文章的意思是什么?