热文搜索爬虫“Bingbot”不遵守robots.txt规则过度抓取网站的解决方法
如何反馈 Bingbot 问题？Bingbot 是 Bing 用于抓取或“蜘蛛”网络的爬虫的名称。Bingbot 的工作是在 Internet 上的网站上查找新的和更新的页面，以便对其进行处理以进行索引。抓取网站时，Bingbot 会查看 robots.txt 以获取网站所有者的特殊说明。Bingbot 尊重 robots.txt 指令，包括crawl-delay:设置，并且在没有 crawl-delay 的情况...
