深圳搬家搬厂网站建设公司
当前位置：网站首页 > 新闻动态 > 各大搜索引擎蜘蛛IP段（以及如何判断蜘蛛真假） 返回列表

各大搜索引擎蜘蛛IP段（以及如何判断蜘蛛真假）

发布时间：2023-12-05来源：网站建设公司

搜索引擎蜘蛛会定期来抓取网站内容，以便收录网页，站长们是非常欢迎蜘蛛来爬的，但是却有人经常伪造蜘蛛IP进行恶意采集内容，还有很多DDOS攻击也会伪造成蜘蛛的User Agent来攻击，我查看过一位站长朋友被DDOS攻击的日志，里面大概20%的国外IP伪造成Googlebot来访问，这样会对我们的网站造成影响。我们必须要揪出这些假蜘蛛，拒绝他们访问网页，这时候我们只能通过IP来识别了，因为User-agent是可以伪造的，只有IP才能准确判断。

各大搜索引擎蜘蛛IP段（以及如何判断蜘蛛真假）

下面是站长大本营最近收集的各大搜索引擎蜘蛛IP数据，数据没办法保证完全准确，因为搜索引擎官方是不公开IP段的，且IP都会变，我对比过多个数据和自己核验，下面的数据还是挺可靠的，有遗漏的下面还会有解决方案。

百度蜘蛛IP段：

61.135.0.0/16

123.125.0.0/16

111.206.0.0/16

180.76.0.0/20

180.149.128.0/19

220.181.0.0/16

36.110.128.0/17

124.164.0.0/14

116.179.0.0/16

180.97.0.0/18

Google中国蜘蛛IP段：

203.208.32.0/19

203.208.60.0/24

74.125.0.0/16

72.14.192.0/18

64.233.160.0/19

66.249.64.0/19

66.102.0.0/20

64.68.64.0/19

66.249.90.0/24

66.249.91.0/24

66.249.92.0/24

搜狗蜘蛛IP段：

118.184.176.0/22

123.180.0.0/14

123.125.0.0/16

61.135.0.0/16

123.126.64.0/18

111.202.0.0/16

36.110.128.0/19

220.181.0.0/16

106.120.128.0/17

49.7.0.0/18

218.30.96.0/19

106.38.0.0/16

111.13.0.0/16

58.250.0.0/16

183.36.96.0/19

49.7.64.0/18

必应蜘蛛IP段：

103.25.156.0/24

111.221.16.0/20

157.56.0.0/16

199.30.16.0/20

65.52.0.0/14

13.64.0.0/11

157.55.0.0/16

207.46.0.0/16

40.64.0.0/10

52.224.0.0/11

40.76.0.0/14

40.80.0.0/12

52.160.0.0/11


360搜索蜘蛛IP段：（这是官方提供的，非常准确）

180.153.0.0/16

180.163.128.0/17

42.224.0.0/12

头条搜索蜘蛛IP段：

110.249.201.0/24

110.249.202.0/24

111.225.148.0/24

111.225.149.0/24

220.243.135.0/24

220.243.136.0/24

111.224.0.0/14

60.8.0.0/15

110.240.0.0/12

220.243.128.0/18

神马搜索蜘蛛IP段：

42.156.128.0/17

42.120.128.0/17

106.11.144.0/20

以上IP段可能未来还会新增，而且新增的IP段我们也无法获取到，这时候我们就需要另外一种方案来核实了，那就是DNS反查，我们可以通过反查来访的蜘蛛IP，查到对应的域名地址即可核实。

通过DNS反查IP用的是一种代码指令，不同的操作平台使用的指令也是不同的，比如：linux、windows、Mac OS这三个操作平台，使用的指令为host、nslookup、dig，查询的格式为：host ip（ip=ip地址）、nslookupip（ip=ip地址）、digip（ip=ip地址）。例如：host 111.222.XXX.XXX 或 nslookup 111.222.XXX.XXX 或 dig host 111.222.XXX.XXX，如果是用PHP可以使用 gethostbyaddr("IP")来获取，不同的蜘蛛IP对应的域名是不一样的，我们只要核实是哪家的蜘蛛就OK了。

下面我把各大搜索引擎蜘蛛的域名分享下：

百度蜘蛛IP对应的域名（例子）：

baiduspider-116-179-32-216.crawl.baidu.com

谷歌蜘蛛IP对应的域名（例子）：

crawl-203-208-60-60.googlebot.com

必应蜘蛛IP对应的域名（例子）：

msnbot-40-77-167-2.search.msn.com

搜狗蜘蛛IP对应的域名（例子）：

sogouspider-123-126-113-79.crawl.sogou.com

头条蜘蛛IP对应的域名（例子）：

bytespider-111-225-149-71.crawl.bytedance.com

神马蜘蛛IP对应的域名（例子）：

shenmaspider-42-156-137-55.crawl.sm.cn

360搜索官方说是禁止反查的，所以我们只用官方给出的IP段判断就OK了。

通过以上IP反查可以得到域名，判断域名是否是这些域名结尾就可以核实，这样我们在防御上就不会将搜索引擎蜘蛛误杀了。

阅读过此文章的读者，还阅读过下面的文章

  • 深圳网站制作好后来年到期了该怎么办
    深圳网站制作好后来年...
    <p> 深圳网站制作好后来年到期了该怎么办，不管是个人还是公司，要想制作好一个网站真的不容易，不仅仅需要做网站前期的规划和策划工作，还需要对网站建设的栏目，内容进行填充和建设，面对这一堆的要求和东西，整体还是比较麻烦和费事的，所以，网站建设制作好之后，一定要注意来年的续费问题，好多公司不注意这个问题，造成了网站后期打不开了，不能正常方面了，出现了问题才想起来网站没有续费，接下来我们来看看深圳网络公司是如何建议的。 </p> <p> 1.域名到期的影响<br /> &nbsp;一般情况下，网站域名需要一年进行一次续费，也可以一次购买多年，如果域名到期没有及时续费，网站就会打不开，域名续费期一般是一个月，过了这个时间就会进入赎回期，这时候就不能续费了。<br /> &nbsp;2.服务器到期的影响<br /> &nbsp;服务器到期与域名一样，到期后网站同样不能打开，如果之前网站在做推广，会直接影响展现效果，长时间不续费的话，网站数据就会全部删除了，之前的努力就全白做了。<br /> &nbsp;3.网站维护服务到期<br /> &nbsp;有些网络公司服务商会有网站维护费用，一般都是一年为一个期限，如果到期后您没有及时维护，网站出现问题后就不会有人给您维护，就会造成影响。影响最大的就是网站展现的效果。<br /> </p>
  • 深圳做网站公司做网站时要明白这些
    深圳做网站公司做网站...
    <p> 深圳做网站公司做网站时要明白这些。其实做网站有的时候不仅仅是在做网站，更多的是在帮助其他公司在做网络宣传门户，站在这个角度上你就知道你所承担的责任了，作为现在公司网站建设不仅要符合时代潮流，更多的需要紧扣时代网页设计特色和要求，只有这样制作设计出来的网站才能更好的满足现在人们的使用要求和观念的，不管是在网站设计理念，网站布局规划，以及网站内容建设等等，这些方面都需要进口时代主题和要求的，接下来我们来看看深圳网站制作公司是如何做的，需要做好那些方面的要求和规范呢？ </p> <p> 审美在变，网站设计要紧跟潮流<br /> 也许用户访问时，不会逐一阅读网站内容，但首先映入眼帘的一定是设计。也许网站在几年前设计制作的确实很漂亮，但是我们无法否认的事实是，用户对网站设计的审美一直在不断改变。这个比较容易对比，随便找一个行业，然后通过百度搜索到十家网站，分别对应年份和网站的网址，让一个不知情的人去逐一打开并评判感受。大体趋势是越是新近设计制作的网站，越容易赢得用户的接受承认。其实这就是用户的真实感受，每年快速改版重做对于很多公司来说有些压力，但是笔者认为一般而言网站2-3年是需要重新设计制作快速的。一个通过网站寻找供应商的用户，其浏览网站一般也就几十秒到几分钟时间，先进的网站设计效果是吸引其深入了解进而咨询的较好方法。<br /> 技术在变，网站制作要贴合需求<br /> 周围的一切都在发生着巨变，网站技术也是如此，此前被很多网站公司采用的ASP网站开发语言几乎已经没人使用，相对于传统的PC端网站，现在更多看重的是移动端，公司设计制作的网站现在多为自适应PC端、PAD端以及手持移动终端的响应式网站。谁也不知道网站技术会走向哪个方向，但是对于普通的企业而言，我们可以把握趋势，至少每隔两三年对网站重新快速设计制作。<br /> 企业在变，网站建设要适应发展<br /> 网站总是为企业服务的，换句话说就是网站的设计制作需要跟上企业的发展步伐。现在急剧变化的市场面前，如果想立于不败之地，企业的经营策略一定在不断调整优化。作为给企业发展提供服务的网站，其理应不断调整不断优化以适应公司需求。现在是互联网时代，用户了解公司更多的也是通过网络，网站不仅是营销的工具，更是企业品牌形象的展示窗口。由于人力成本的不断升高，而网站设计更多的需要技术人员手工完成，所以真正定制开发的网站都价格不菲。但是同样是网站建设公司网站改版也不一定就选择定制，如果有合适的模板网站，也是不做的选择。我们需要的是一个紧跟时代和用户需求的网站，而非一定采用哪种方式实现它。 </p>
  • 英文网站制作需要注意那些问题和事项
    英文网站制作需要注意...
    英文网站制作需要注意那些问题和事项。英文网站制作还是跟中文网站制作有比较大的区别的，应为中文网站面对的客户群体是国内的用户，而国内的用户对网站的使用习惯，要求都是跟国外不一样的，从而在制作英文网站的时候，一定要注意，像这种英文网站制作还是需要从国外人使用网站的习惯，使用网站的一些喜好出发，只有这样制作出来的网站满足国外人的使用的，这是一个方面，另外一个方面就是国外网站面对的搜索引擎，也是不一样的，国外的搜索引擎跟国内有着比较大的区别的，搜索引擎也是制作英文网站必须要考虑的一个方面了，最后就是网站制作价格方面了，一般英文网站制作价格要比国内的网站制作价格高一些，这是一定的，毕竟国外网站制作的细节要求，以及针对搜索引擎优化方面还是有比较高的要求的，所以，这些都是工作量，也都是需要处理好这些方面的细节工作的。
  • 网站设计公司的发展趋势详解
    网站设计公司的发展趋...
    <p> 网站设计公司的发展趋势详解，目前网页设计公司慢慢的转型升级成为一种综合性的设计公司了，不仅仅是在网站设计了，如果单纯的依赖于网站设计，对于这样的公司来说现在还是很被动的，并且目前的网站制作价格已经白热化了，竞争也是很大的情况下，好多公司已经赚不到什么钱了，面对这样的市场形式，作为网站设计公司要不断的扩大和尝试新的方式和方法，实现公司业务的升级和转型，这也是摆在深圳<a href="http://www.szbc888.com" target="_blank"><strong>网站制作公司</strong></a>面对不可逾越的一个问题了，毕竟现在网站制作公司的活量不大，如果养一个专业的网页设计技术团队专门作网站，根本养活不了这样的公司的发展了，更多的还需要通过其他的渠道，其他的平台上获得更为有质量的客户，这也是当下网站制作公司不得不面对的一个话题了。 </p> <p> <img src="static/picture/20231030113846_47114.jpg" alt="" /> </p> <p> <a href="http://www.szbc888.com" target="_blank"><strong>网页设计公司</strong></a>业务范围扩大，于是着这个网站制作行业市场需求量在逐渐的缩小，并且凡是使用到网站的多半集中在一些公司，单位方面的需求了，对于一些个人对网站的需求还是很少的，除非一些专业化路线的个人才会这样做的，网站设计公司的转型升级，不仅提升的服务质量，更多的将服务方位不断的扩大，从而得到更好的市场群体，能够为更多的市场客户服务。 </p>
  • 网站制作低价格策略已经成为网站制作行业的杀手锏
    网站制作低价格策略已...
    <p> 网站制作低价格策略已经成为网站制作行业的杀手锏，整个大环境不好的情况下，好多公司在制作网站的时候，已经在想尽办法降低网站制作的成本了，从当初的网站制作就直接去搜索引擎上搜索网站制作公司了，而如今制作网站已经发生变化了，从搜索引擎走向了淘宝，拼多多这些低价平台了，并且这些平台都是担保交易了，好多的需要<a href="http://www.szbc888.com" target="_blank"><strong>制作公司网站</strong></a>的商家慢慢转向这个方面来了，所以制作出来的网站不是模板的就是仿制的网站，价格的确很低，并且效率也是很高的，这也是聪明的用户慢慢的转型和变化了，如果这些模板网站放在搜索引擎来的客户的话，这些网站制作下来的费用基本上在好几千了，面对这样的市场转型和升级，这也让好多网站制作公司寻找不同的出路了。 </p> <p> <img src="static/picture/20231030113212_16069.jpg" alt="" /> </p> <p> <a href="http://www.szbc888.com" target="_blank"><strong>深圳网站制作</strong></a>的价格的确没有那么低，但是作为一些低价平台上的用户，他们为了争取到客户，低价引流，从而实现了低价格制作网站的形式，作为网站制作公司，你这样低价格去做的目的就只有一个，那就是辛苦转不到钱的，都是转一些辛苦钱而已，面对这样的市场形式和要求，作为网站制作公司一定要不断的提升网站制作的附加值，提升<a href="http://www.szbc888.com" target="_blank"><strong>网站制作</strong></a>的质量，让用户以质量取胜，不能专门走低价格战略，不然你的公司是发展不起来的，也作不大的，作为用户而已，你公司小还可以这样去做，如果公司发展到一定程度的去制作网站，这对于你的公司来说是灭顶之灾了，所以选择网站制作公司还是要从专业的角度出发去帮助客户解决实际的问题，从而实现网站制作公司的价值和效益。 </p>
  • 深圳网站定制开发全流程详解
    深圳网站定制开发全流...
    <p> 深圳网站定制开发全流程详解，作为网站定制开发公司接下来给大家普及一下网站定制究竟要经过那些过程呢，前期的网站沟通肯定是少不了的，除此之外，网站备案这块也是需要的，只要是正规的公司，正常的流程，网站备案也是需要做的，剩下的就是网站制作过程中的一些沟通了，接下来我们来看看<a href="http://www.szbc888.com" target="_blank"><strong>深圳网站制作</strong></a>公司的一个标准的流程。 </p> <p> 需求分析： 通过对客户业务的了解和与客户对流程的讨论对需求进行基本建模，最终形成需求规格说明书<br /> 总体设计： 通过分析需求信息，对系统的外部条件及内部业务需求进行抽象建模，最终形成概要设计说明文档<br /> 详细设计： 此部分在对需求和概要设计的基础上进行系统的详细设计（也包含部分代码说明）<br /> 开发编程： 对系统进行代码编写<br /> 测试分析与系统整合： 对所有功能模块进行模拟数据测试及其它相关性测试并整合所有模块功能<br /> 现场支持： 系统上线试运行进行现场问题记录、解答<br /> 系统运行支持： 系统正式推产后，对系统进行必要的维护和BUG修改<br /> </p>

Copyright © 2015 深圳市鑫惠广网络科技有限公司 粤ICP备2023111395号