如何使用预设设置Bing搜索爬虫抓取模式？

爬虫抓取控制

转到爬虫抓取控制工具

抓取控制功能允许您控制 Bingbot 对您网站上的页面和资源发出请求的速度 。您可以告诉 Bingbot 在一天 24 小时中的每一个小时内，以比正常抓取速度更快或更慢的速度抓取您的网站。这样，当您的网站上有更多访问者时，您可以限制 Bingbot 在您的网站上的活动，并允许 Bingbot 在安静的时间进行更多的抓取。

笔记
如果我们在您的 robots.txt 文件中找到 crawl-delay: 指令，那么它将始终优先于来自此功能的信息。

如何使用预设设置爬虫抓取模式

使用预设的抓取模式

设置为访问者优化带宽的抓取模式的最简单方法是使用“您的网站接收大部分流量的时间”下列出的预设。您可以使用这些预设来根据您当地的一天时间来指示您网站上最繁忙的时间。选择任何预设时，我们将通过告诉 Bingbot 在这些时间更慢地抓取而在其他时间相对更快来自动优化抓取模式。存储设置所需要做的就是单击 页面底部的 保存更改。

以下示例显示了一个站点，该站点选择了 9AM - 5AM 本地时间预设作为站点的最繁忙时间，从而产生了一种反向爬虫抓取模式，允许 Bingbot 在这些时间之外更快地抓取：

默认情况下，在确定时区时会考虑系统时间。但是，如果您在其他国家/地区工作并希望根据其他时区修改 Bingbot 的抓取速度小时数，您现在可以从时区下拉列表中选择相关时区并相应地修改抓取模式。

设置自定义抓取模式

或者，您也可以使用鼠标创建完全自定义的每小时抓取模式，方法是按住鼠标左键移动立方体并将其拖动到 x 轴上表示的时间线所需的象限数。更多的蓝色象限表示来自 Bingbot 的更多访问（更快的抓取），更少的象限意味着相反（更慢的抓取）。每个时间片的默认值是 5 个象限。因此，5 个蓝色象限代表通过算法确定的您网站的基准爬网率。根据为您的网站自动确定的基准抓取速度，上下移动它们，增加或减少抓取速度。当您对您的模式感到满意时，只需单击保存更改以存储设置。