必应爬虫概述(用户代理)Overview of Bing crawlers (user-agents)

0oD三一o0

Bing目前运营着五个主要的爬虫:

爬虫名称说明user-agents
BingbotBingbot 是我们的标准爬虫,可以处理我们每天的大部分爬虫需求。Bingbot 使用不同类型的用户代理字符串。
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/

Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
W.X.Y.Z Safari/537.36

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36  (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
 	
我们定期将网页渲染引擎更新为 Microsoft Edge 的最新稳定版本。因此,“WXYZ”将替换为我们正在使用的最新 Microsoft Edge 版本,例如“80.0.345.0”。
AdIdxBotAdIdxBot 是 Bing Ads 使用的爬网程序。AdIdxBot 抓取广告并跟踪这些广告中的网站以进行质量控制。就像 Bingbot 一样,AdIdxBot 也有“桌面”和“移动”变体。
	Mozilla/5.0 (compatible; adidxbot/2.0; +http://www.bing.com/bingbot.htm)	
Mozilla/5.0 (iPhone; CPU iPhone OS 7_0 like Mac OS X) AppleWebKit/537.51.1 (KHTML, like Gecko) Version/7.0 Mobile/11A465 Safari/9537.53 (compatible; adidxbot/2.0; +http://www.bing.com/bingbot.htm)	
Mozilla/5.0 (Windows Phone 8.1; ARM; Trident/7.0; Touch; rv:11.0; IEMobile/11.0; NOKIA; Lumia 530) like Gecko (compatible; adidxbot/2.0; +http://www.bing.com/bingbot.htm)	
	
BingPreviewBingPreview 为 Bing 生成页面快照。您可以在此处找到有关 BingPreview 的更多详细信息请注意,BingPreview 有“桌面”和“移动”变体。
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36	
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36  (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
MicrosoftPreviewMicrosoftPreview 生成 Microsoft 产品的页面快照。请注意,MicrosoftPreview 有“桌面”和“移动”变体。
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; MicrosoftPreview/2.0; +https://aka.ms/MicrosoftPreview) Chrome/W.X.Y.Z Safari/537.36	
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36  (compatible; MicrosoftPreview/2.0; +https://aka.ms/MicrosoftPreview)

验证真实性

你可以使用用户代理字符串识别 Bing 爬虫。但是,用户代理字符串很容易被伪造,因此并非每个带有这些用户代理字符串的请求都来自真正的 Bing 爬虫。要确定请求是否来自 Bing 爬虫,请查找用户代理字符串,但请记住,用户代理字符串可能被伪造。要确保 IP 地址是真实的,请了解我们提供的所有Bing bot验证方法

抓取频率

要控制我们的爬虫与你的网站抓取频率,你有两个选择:

  • 可以配置 Robots.txt 文件来告诉 Bing 爬虫如何抓取你的网站内容。

  • 使用 Bing Webmaster Tools 爬虫预设,你可以使用抓取控制工具按小时控制抓取速度。

反馈问题

如果你发现 Bingbot 或我们的任何其他爬虫存在抓取问题,请按照“如何反馈 Bingbot 问题”中概述的步骤操作。


免责声明:本文来自必应站长平台,不代表0oD三一o0的观点和立场,如有侵权请联系本平台处理。

发表评论

快捷回复: 表情:
AddoilApplauseBadlaughBombCoffeeFabulousFacepalmFecesFrownHeyhaInsidiousKeepFightingNoProbPigHeadShockedSinistersmileSlapSocialSweatTolaughWatermelonWittyWowYeahYellowdog
评论列表 (有 175 条评论,1861人围观)
网友昵称:游客
游客 V 游客 沙发
07-15 回复
东方不败外加灭绝师太啊!**://7apoh.yhdht.com/34/3.html
网友昵称:游客
游客 V 游客 椅子
07-16 回复
不灌水就活不下去了啊!**://iu8552.seahog-wx.com
网友昵称:游客
游客 V 游客 板凳
07-16 回复
楼主很有经验啊!**://ix6gn.zjy2.com/34/3.html
网友昵称:游客
游客 V 游客 凉席
07-16 回复
谢谢楼主的分享!**://3nntl.aabaopay.com/5/3.html
网友昵称:游客
游客 V 游客 地板
07-16 回复
这个帖子好无聊啊!**://i91.rshit.cn
网友昵称:访客
访客 V 游客 6楼
07-16 回复
莆田安福货源网官网 **s://7ox.cn
网友昵称:游客
游客 V 游客 7楼
07-16 回复
信楼主,考试不挂科!**://2ya0.818cheng.com
网友昵称:游客
游客 V 游客 8楼
07-16 回复
写的太好啦,评论一个**://f66il.323lu.com/2024/4.html
网友昵称:游客
游客 V 游客 9楼
07-16 回复
楼上的能详细介绍一下么?**s://www.eny365.com/countryside/static/cqjyinfo/ejy180306.html
网友昵称:游客
游客 V 游客 10楼
07-16 回复
大神好强大!**://oel3.2728pk.com
网友昵称:访客
访客 V 游客 11楼
07-16 回复
安福货源导航网 **s://anfu01.com
网友昵称:游客
游客 V 游客 12楼
07-16 回复
文章论点明确,论据充分,说服力强。**://cjw70.8090my.com/2024/3.html
网友昵称:游客
游客 V 游客 13楼
07-17 回复
最近回了很多帖子,都没人理我!**://qxi.viptor.cn
网友昵称:访客
访客 V 游客 14楼
07-17 回复
莆田安福货源app **s://www.z11.cn
网友昵称:游客
游客 V 游客 15楼
07-17 回复
论坛的帖子越来越有深度了!**://rer47.nomrvng.cn
网友昵称:游客
游客 V 游客 16楼
07-17 回复
我就搞不明白了,看帖回帖能死人么,居然只有我这么认真的在回帖!**://t91eu.tyrpl.com
网友昵称:游客
游客 V 游客 17楼
07-17 回复
楼主是一个典型的文艺青年啊!**://zqd.nomrvng.cn
网友昵称:游客
游客 V 游客 18楼
07-17 回复
今天上网不回帖,回帖就回精华帖!**://6xq.nomrvng.cn
网友昵称:游客
游客 V 游客 19楼
07-17 回复
楼主加油,看好你哦!**://4f8.nomrvng.cn
网友昵称:游客
游客 V 游客 20楼
07-17 回复
支持一个**://ubt.nzrtg.com
网友昵称:游客
游客 V 游客 21楼
07-17 回复
看了这么多帖子,第一次看看到这么有内涵的!**://r37cs.wedhj.com/34/3.html
网友昵称:游客
游客 V 游客 22楼
07-17 回复
楼主说的我也略懂!**://0a2k.nzrtg.com
网友昵称:安福相册
安福相册 V 游客 23楼
07-17 回复
莆田安福货源网 **s://7ox.cn
网友昵称:安福相册
安福相册 V 游客 24楼
07-17 回复
安福鞋类相册 **s://www.b0594.com
网友昵称:游客
游客 V 游客 25楼
07-17 回复
强,我和我的小伙伴们都惊呆了!**://m.nzrtg.com/cpn52
网友昵称:游客
游客 V 游客 26楼
07-17 回复
态度决定一切,不错!**://11d5.m.nomrvng.cn
网友昵称:安福相册
安福相册 V 游客 27楼
07-17 回复
0594安福相册 **s://anfu01.com
网友昵称:安福相册
安福相册 V 游客 28楼
07-17 回复
58档口最新地址 **s://anfu01.com
网友昵称:游客
游客 V 游客 29楼
07-17 回复
没人理我,好伤心啊!**://8j43.tanghuosong.com
网友昵称:游客
游客 V 游客 30楼
07-17 回复
好帖子!**://71c4x.ngapp69.com/1/3.html
网友昵称:游客
游客 V 游客 31楼
07-17 回复
看帖不回帖都是耍流氓!**://ezboo.zzoodq.com/5/5.html
网友昵称:游客
游客 V 游客 32楼
07-17 回复
不错的帖子,值得收藏!**s://www.eny365.com/countryside/static/cqjyinfo/ejy180566.html
网友昵称:安福相册
安福相册 V 游客 33楼
07-17 回复
莆田安福 **s://anfu01.com
网友昵称:安福
安福 V 游客 34楼
07-18 回复
相册app排行榜前十名 安福家园 **s://www.anfu0594.com
网友昵称:游客
游客 V 游客 35楼
07-18 回复
楼上的别说的那么悲观好吧!**://re5dd.56tqt.com
网友昵称:游客
游客 V 游客 36楼
07-18 回复
这么经典的话只有楼主能想到!**://m.tyrpl.com/dww4b
网友昵称:游客
游客 V 游客 37楼
07-18 回复
太邪乎了吧?**://aqocs.blog.getti.cn
网友昵称:游客
游客 V 游客 38楼
07-18 回复
收藏了,怕楼主删了!**://n8b.9agou.com
网友昵称:游客
游客 V 游客 39楼
07-18 回复
管它三七二十一!**://hxhbm.com/032445.html
网友昵称:游客
游客 V 游客 40楼
07-18 回复
收藏了,怕楼主删了!**://yuexiu.viptor.cn
网友昵称:游客
游客 V 游客 41楼
07-18 回复
经典!**://bof.www.getti.cn
网友昵称:游客
游客 V 游客 42楼
07-18 回复
好好学习楼主的帖子!**://utx7y.m.hxhbm.com
网友昵称:游客
游客 V 游客 43楼
07-18 回复
不错的帖子,值得收藏!**://6hzig.www.getti.cn
网友昵称:游客
游客 V 游客 44楼
07-18 回复
写得实在太好了,我唯一能做的就是默默顶贴!**://h5mipp.m.getti.cn
网友昵称:游客
游客 V 游客 45楼
07-18 回复
我和我的小伙伴都惊呆了!**://m.hxhbm.com/975698.html
网友昵称:游客
游客 V 游客 46楼
07-18 回复
楼上的别说的那么悲观好吧!**://2v4jw.m.getti.cn
网友昵称:游客
游客 V 游客 47楼
07-18 回复
怪事年年有,今年特别多!**://m.getti.cn/686360.html
网友昵称:游客
游客 V 游客 48楼
07-18 回复
缺乏激情了!**://hl490.lszs168.com/20240715/3.html
网友昵称:游客
游客 V 游客 49楼
07-18 回复
投楼主一票,不用谢哦!**://666b.news.getti.cn
网友昵称:游客
游客 V 游客 50楼
07-18 回复
很给力!**://news.getti.cn/249647.html
网友昵称:游客
游客 V 游客 51楼
07-18 回复
这位作者的文笔极其出色,用词精准、贴切,能够形象地传达出他的思想和情感。**://v1i74.pinggou8.com/v/3.html
网友昵称:游客
游客 V 游客 52楼
07-18 回复
每次看到楼主的帖子都有惊吓!**://www.hxhbm.com/113725.html
网友昵称:游客
游客 V 游客 53楼
07-18 回复
帖子很有深度!**://www.hxhbm.com/113725.html
网友昵称:游客
游客 V 游客 54楼
07-18 回复
论坛的人气不行了!**://g6f0.www.getti.cn
网友昵称:游客
游客 V 游客 55楼
07-18 回复
楼主加油,看好你哦!**://q00j2.akirakirakira.com/2024/4.html
网友昵称:安福
安福 V 游客 56楼
07-18 回复
微商货源网 **s://anfu01.com
网友昵称:游客
游客 V 游客 57楼
07-18 回复
视死如归的架势啊!**://ylo7.hxhbm.com
网友昵称:游客
游客 V 游客 58楼
07-18 回复
怪事年年有,今年特别多!**://yel.szjcwsj.com
网友昵称:游客
游客 V 游客 59楼
07-18 回复
看了这么多帖子,第一次看到这么经典的!**://xunyi.viptor.cn
网友昵称:游客
游客 V 游客 60楼
07-18 回复
论坛的人气不行了!**://jvurk.www.getti.cn
网友昵称:游客
游客 V 游客 61楼
07-18 回复
楼主很有激情啊!**://jm0mk.news.hxhbm.com
网友昵称:游客
游客 V 游客 62楼
07-18 回复
内容很有深度!**://gb1t.dvxatope.com
网友昵称:游客
游客 V 游客 63楼
07-18 回复
顶一个!**://976gcx.hongkongboson.com
网友昵称:游客
游客 V 游客 64楼
07-18 回复
楼上的很有激情啊!**://hxhbm.com/952581.html
网友昵称:游客
游客 V 游客 65楼
07-18 回复
今天上网不回帖,回帖就回精华帖!**://news.getti.cn/588959.html
网友昵称:游客
游客 V 游客 66楼
07-18 回复
看了这么多帖子,第一次看到这么有深度了!**://news.getti.cn/588959.html
网友昵称:游客
游客 V 游客 67楼
07-19 回复
楼主写的很经典!**://u6d.www.hxhbm.com
网友昵称:游客
游客 V 游客 68楼
07-19 回复
这一年啥事没干,光研究楼主的帖子了!**://zux.getti.cn
网友昵称:游客
游客 V 游客 69楼
07-19 回复
看帖、回帖、拿分、走人**://v0w2q.sikao51.com/4/3.html
网友昵称:游客
游客 V 游客 70楼
07-19 回复
文章写太挺好了,真的值得推荐**://6y76yc.news.getti.cn
网友昵称:游客
游客 V 游客 71楼
07-19 回复
内容很有深度!**s://www.eny365.com/countryside/static/cqjylist/all/all/000000/23.html
网友昵称:游客
游客 V 游客 72楼
07-19 回复
帖子很有深度!**://rzy9m.blog.hxhbm.com
网友昵称:游客
游客 V 游客 73楼
07-19 回复
楼上的很有激情啊!**://0f6.qiudashen.com
网友昵称:游客
游客 V 游客 74楼
07-19 回复
有品位!**://blog.getti.cn/590096.html
网友昵称:游客
游客 V 游客 75楼
07-19 回复
文章写太挺好了,真的值得推荐**://blog.getti.cn/590096.html
网友昵称:游客
游客 V 游客 76楼
07-19 回复
看帖回帖一条路!**://nhvdi.028dayi.com/20240715/3.html
网友昵称:游客
游客 V 游客 77楼
07-19 回复
感觉不错!**://hxhbm.com/699574.html
网友昵称:游客
游客 V 游客 78楼
07-19 回复
我就搞不明白了,看帖回帖能死人么,居然只有我这么认真的在回帖!**://lhdc1k.hxhbm.com
网友昵称:游客
游客 V 游客 79楼
07-19 回复
有机会找楼主好好聊聊!**://blog.hxhbm.com/247146.html
网友昵称:游客
游客 V 游客 80楼
07-19 回复
太邪乎了吧?**://news.hxhbm.com/768750.html
网友昵称:游客
游客 V 游客 81楼
07-19 回复
大神好强大!**://news.getti.cn/857411.html
网友昵称:游客
游客 V 游客 82楼
07-19 回复
我就搞不明白了,看帖回帖能死人么,居然只有我这么认真的在回帖!**://ulfq2.91qutao.com/20240715/3.html
网友昵称:游客
游客 V 游客 83楼
07-19 回复
雷锋做好事不留名,都写在帖子里!**://ztlhjo.fzmnq.com
网友昵称:游客
游客 V 游客 84楼
07-19 回复
林子大了,什么鸟都有了啊!**://ydh.aabaopay.com
网友昵称:安福相册
安福相册 V 游客 85楼
07-19 回复
相册app排行榜前十名 安福家园 **s://anfu01.com
网友昵称:游客
游客 V 游客 86楼
07-20 回复
收藏了,改天让朋友看看!**://cpo1.jobdq.com
网友昵称:游客
游客 V 游客 87楼
07-20 回复
好东西,赞一个!**://news.hxhbm.com/496770.html
网友昵称:游客
游客 V 游客 88楼
07-20 回复
好东西,学习学习!**://0ruz4.6603vip.com/c/3.html
网友昵称:安福相册
安福相册 V 游客 89楼
07-20 回复
安福相册导航 **s://www.b0594.com
网友昵称:游客
游客 V 游客 90楼
07-20 回复
刚分手,心情不好!**://ylin.viptor.cn
网友昵称:游客
游客 V 游客 91楼
07-20 回复
感觉不错!**://avfji.bjmrhd.com/3/4.html
网友昵称:游客
游客 V 游客 92楼
07-20 回复
顶一下,收藏了!**://odjbd.mengtrue.com
网友昵称:游客
游客 V 游客 93楼
07-20 回复
楼主内心很强大!**://cwsar.2020lzsq.com
网友昵称:游客
游客 V 游客 94楼
07-20 回复
关注一下!**://www.getti.cn/622915.html
网友昵称:游客
游客 V 游客 95楼
07-20 回复
楼主是我最崇拜的人!**://0iq.ntwel.com
网友昵称:访客
访客 V 游客 96楼
07-20 回复
安福货源网 **s://anfu01.com
网友昵称:游客
游客 V 游客 97楼
07-20 回复
我只看看不说话。。。**://ims8cr.jnmcwx.com
网友昵称:访客
访客 V 游客 98楼
07-20 回复
安福相册导航 **s://www.b0594.com
网友昵称:访客
访客 V 游客 99楼
07-20 回复
安福货源网官方微信 **s://www.kuuv.cn
网友昵称:访客
访客 V 游客 100楼
07-20 回复
安福货源导航网 **s://anfu01.com
取消
微信二维码
微信二维码
支付宝二维码