使用必应的人更喜欢搜索引擎能提供完整且不受限制的内容。因此，我们更倾向于在搜索结果中提供没有注册或订阅限制的内容。然而，与其他搜索引擎一样，我们也为发布商提供了实施“首次点击免费”的机会，以针对其受限内容。
如果你的网站包含通常受到限制的内容，即只有订阅者或注册用户才能访问，但你仍然希望在 Bing.com 结果中以最佳方式展示你的网站，请遵循以下指南实施“首次点击免费”。
指南
1.允许我们的爬虫不受限制地抓取你的网站：你可以通过用户代理（UA）字符串来识别我们的爬虫。我们使用的爬虫的权威列表就在这里。
除了通过用户代理字符串检测必应 bot 外，还可以通过所谓的反向 DNS、正向 IP 查找来验证用户代理是否是官方必应爬虫。（四种方法验证搜索爬虫IP地址是否来自必应搜索）
笔记重要提示：不要对你网站的每个请求都执行“反向 DNS，正向 IP 查找”，因为这可能会导致性能和可用性问题。相反，一旦确认爬虫 IP 地址是已验证的必应 bot，就可以在服务器上缓存此信息。此外，如果你收到来自必应 bot 的 GET 请求，但未通过验证，你可以选择暂时不向该 IP 地址显示请求的页面（或者如果你愿意，你可以阻止此 IP 地址，例如使用 HTTP Status 403 或 HTTP Status 503），但你需要在一段时间后（例如 48 小时）重新检查，以防 bot IP 验证失败。 2.允许用户无障碍地访问订阅或注册内容：来自必应的用户必须能够查看我们搜索结果中找到的文章，而不会受到例如注册或订阅屏幕的任何干扰，即与订阅者看到的完全相同，没有任何限制。在初始点击来自必应之后，允许在你的网站上显示后续点击的订阅或注册屏幕，但你需要允许每天从必应引用不少于五（5）篇文章的免费访问。
要识别来自必应的用户，你需要检查 HTTP GET 请求中的 Referer: 标头。最简单的方法是检查 Referer: 标头是否包含域模式[*.bing.com*]，以查看访问者是否来自必应，并允许无障碍地访问文章或页面。
3.除了 1 和 2 之外，请确保您使用 XML 站点地图（包含您网站上的 URL 的完整列表）以及 RSS feed（包含最新发布的文章的 feed）发布想要索引的页面的 URL ）。这将极大地帮助我们发现你的新鲜内容以进行抓取和索引。有关更多详细信息，请参阅如何向 Bing 提交站点地图。
通过遵循上述指南，你可以将受限内容包含在必应索引中。但是，实施“首次点击免费”并不保证你的内容在所有情况下都被选择进行索引。
发表评论