如何判断必应搜索爬虫Bingbot？四种方法验证搜索爬虫IP地址是否来自必应搜索

如果您在服务器日志中看到基于用户代理字符串的 Bingbot 流量，例如 Mozilla/5.0（兼容；bingbot/2.0；+http://www.bing.com/bingbot.htm），并且您想知道这个流量是否真的来自 Bing 服务器，您可以采取以下步骤：

1. 使用日志中的 IP 地址执行反向 DNS 查找，以验证它是否解析为以 search.msn.com结尾的名称

2. 使用步骤 1 中的名称进行正向 DNS 查找，以确认它解析回相同的 IP 地址

有一些方法可以直接在 Windows 和 Linux 中执行此操作，但您可以直接在您的网站管理员帐户中使用验证 Bingbot工具，或使用http://www.bing.com/toolbox/verify-bingbot上的公开版本。或者，您可以使用其他基于 Web 的工具：

一、基于 Web 的反向 DNS 和 IP 查找工具

您可以使用众多基于 Web 的反向 DNS 查找工具之一，而不是使用操作系统提供的命令行工具。下面是使用https://mxtoolbox.com/ReverseLookup.aspx对 IP 地址 157.55.39.1 进行反向 DNS 查找的示例：

如您所见，我们输入的 IP 地址解析为以 search.msn.com结尾的名称。接下来，通过相应的正向查找来确认这一点：

正向查找确认 msnbot-157-55-33-18.search.msn.com 与我们输入的原始 IP 地址相匹配：  157.55.39.1。

二、Windows 中的反向和正向 DNS 查找

在 Windows 系统上，您可以从命令提示符（使用 cmd.exe）使用 nslookup 进行反向和正向 DNS 查找。这是反向查找 IP 地址 157.55.39.1 的示例；在输出中查找以 Name:开头的行 。这是您要查找以 search.msn.com结尾的名称的地方：

C:\Users>nslookup 157.55.39.1 
Server:  Unknown 
Address:

Name: 
msnbot-157-55-33-18.search.msn.com 
Address:  157.55.39.1

现在进行正向 DNS 查找；第二个 Address: 行中的输出应与您之前输入的 IP 地址相匹配，以确认它是 Bing 爬虫：

C:\Users>nslookup msnbot-157-55-33-18.search.msn.com 
Server:  UnKnown 
Address:

Non-authoritative answer: 
Name:    msnbot-157-55-33-18.search.msn.com 
Address:  157.55.39.1

结论是一样的：名字和地址匹配，所以这是一个经过验证的 Bing 爬虫。

三、基于 Linux 的系统上的反向和正向 DNS 查找

在 Linux 上，您可以使用 host 命令来执行相同的操作：

> host 157.55.39.1 157.55.39.1.in-addr.arpa 
domain name pointer 
msnbot-157-55-33-18.search.msn.com 
> host msnbot-157-55-33-18.search.msn.com 
msnbot-157-55-33-18.search.msn.com has address 157.55.39.1

 四、不要使用硬编码的 IP 地址或地址范围

使用反向/正向 DNS 查找方法，您可以轻松验证 IP 地址是否来自 Bing。

或者，您可以通过将爬虫的 IP 地址与Bingbot IP 地址列表匹配来通过 IP 地址识别 Bingbot 。每天刷新此列表，因为我们可以随时更改此列表。