头条搜索robots.txt匹配方式说明

Robots匹配说明匹配方式分两部分:1.path部分,2.参数部分匹配支持*$两种通配符* 表示任何有效字符的 0 个或多个个案。$ 表示网址结束。path部分与google匹配方式保持一致,也就是只有/或是*开头的规则才有机会匹配上/匹配根目录以及任何下级网址/fish/fish开头的匹配项* /fish* /fish.html* /fish/salmon.html* /fishheads* /fishhea...

  • 1
  • 共 1 页

最近发表

热评文章

热门文章

随便看看

换一换

标签列表