头条搜索robots.txt匹配方式说明

0oD三一o0

温馨提示:这篇文章已超过753天没有更新,请注意相关的内容是否还可用!

Robots.txt匹配说明

匹配方式

  • 分两部分:1.path部分,2.参数部分

  • 匹配支持*$两种通配符

    • * 表示任何有效字符的 0 个或多个个案。

    • $ 表示网址结束。

path部分

google匹配方式保持一致,也就是只有/或是*开头的规则才有机会匹配上




/

匹配根目录以及任何下级网址

/fish


/fish开头的
匹配项
* /fish
* /fish.html
* /fish/salmon.html
* /fishheads
* /fishheads/yummy.html
* /fish.php?id=anything
不匹配项
* /Fish.asp
* /catfish
* /?id=fish

/fish\*

等同于 /fish。结尾的通配符会被忽略。
匹配项:
* /fish
* /fish.html
* /fish/salmon.html
* /fishheads
* /fishheads/yummy.html
* /fish.php?id=anything
不匹配项:
* /Fish.asp
* /catfish
* /?id=fish

/fish/

结尾的斜杠表示此项与此文件夹中的任何内容均匹配。
匹配项:
* /fish/
* /fish/?id=anything
* /fish/salmon.htm
不匹配项:
* /fish
* /fish.html
* /Fish/Salmon.asp

/\*.php

匹配项:
* /filename.php
* /folder/filename.php
* /folder/filename.php?parameters
* /folder/any.php.file.html
* /filename.php/
不匹配项:
* /(即使其映射到 /index.php)
* /windows.PHP

/\*.php$

匹配项:
* /filename.php
* /folder/filename.php
不匹配项:
* /filename.php?parameters
* /filename.php/
* /filename.php5
* /windows.PHP

/fish\*.php

匹配项:
* /fish.php
* /fishheads/catfish.php?parameters
不匹配项: /Fish.PHP

\*/ `` fish `` /


包含/fish/的path
匹配项:
* /search/fish/filename.php?parameters
* /fish/filename.php?parameters
不匹配项:
* /Fish.PHP

.htm$

错误写法,不能与.htm结尾的url匹配

参数部分

支持参数无序匹配,参数key value均支持\*通配符




/home.php?mod=


value可以是任意值
匹配项
* /home.php?c=0&mod=939
* /home.php?c=0&mod=xxx
不匹配项
* /home.php?c=0&smod=939
* /home.php?c=0&mods=939

/home.php?mod=\*


value可以是任意值,等同于/home.php?mod=
匹配项
* /home.php?c=0&mod=939
* /home.php?c=0&mod=xxx
不匹配项
* /home.php?c=0&smod=939
* /home.php?c=0&mods=939

/home.php?mod=9


参数值要求完全相对才匹配
匹配项
* /home.php?c=0&mod=9
不匹配项
* /home.php?c=0&mod=939

/home.php?mod=9\*


value以9开头的
匹配项
* /home.php?c=0&mod=939
* /home.php?c=0&mod=9xx
* /home.php?c=0&mod=9
不匹配项
* /home.php?c=0&mod=3xx
* /home.php?c=0&mod=39x

/home.php?mod=\*9



value以9结尾
匹配项
* /home.php?c=0&mod=xx9
不匹配项
* /home.php?c=0&mod=34
* /home.php?c=0&mods=9
* /home.php?c=0&mod=93

/home.php?mod=\*39


value以39结尾的
匹配项
* /home.php?c=0&mod=939
不匹配项
* /home.php?c=0&mod=9319

/home.php?\*mod=939



key以mod结尾的
匹配项
* /home.php?c=0&mod=939
* /home.php?c=0&smod=939
不匹配项
* /home.php?c=0&mods=939

/home.php?mod\*=939


key以mod开头的
匹配项
* /home.php?c=0&mods=939
* /home.php?c=0&mod=939
不匹配项
* /home.php?c=0&smod=939

/home.php?\*mod\*=939



key包含mod字符串
匹配项
* /home.php?c=0&smods=939
* /home.php?c=0&mods=939
* /home.php?c=0&mod=939
* /home.php?c=0&smod=939
不匹配项
* /home.php?c=0&msod=939

/home.php?\*mod\*=\*39\*



key 包括mod字符串,value包含39字符串
匹配项
* /home.php?c=0&smods=939
* /home.php?c=0&smod=39
* /home.php?c=0&mod=939
不匹配项
* /home.php?c=0&msod=93

/home.php?mod


参数部分采用前缀匹配
匹配项
* /home.php?c=0&mod=939
* /home.php?c=0&mods=939
不匹配
* /home.php?c=0&smod=939

/home.php?mod\*


匹配项
* /home.php?c=0&mod=939
* /home.php?c=0&mods=939
不匹配项
* /home.php?c=0&smod=34


免责声明:本文来自头条站长平台,不代表0oD三一o0的观点和立场,如有侵权请联系本平台处理。

发表评论

快捷回复: 表情:
AddoilApplauseBadlaughBombCoffeeFabulousFacepalmFecesFrownHeyhaInsidiousKeepFightingNoProbPigHeadShockedSinistersmileSlapSocialSweatTolaughWatermelonWittyWowYeahYellowdog
评论列表 (暂无评论,923人围观)

还没有评论,来说两句吧...

取消
微信二维码
微信二维码
支付宝二维码