蜘蛛效率指什么
蜘蛛分两类：专享蜘蛛和共享蜘蛛，对于大型网站，绝大大部分来访蜘蛛都是专项蜘蛛，就是专门抓这个域名下的内容。
由于带宽限制，蜘蛛每日抓取页面数量有限，会根据网站整体质量，定期观察，对页面更新频繁、优先级高的类别页面重点抓取，来提高抓取效率，根据服务器情况，调整抓取时间和抓取速度，保证网站正常运行。
扩展资料
影响蜘蛛抓取效率的因素
1、网站的结构
一个网站的结构不仅影响着用户的体验度，对整个网站的优化也是有着至关重要的作用，而符合百度蜘蛛抓取的网站首先要简单明了，层次分明，这样会大大的提升网站对百度蜘蛛的可读性。
2、网站服务器的稳定性
服务器是网站的一个基石，如果网站处于长期不能打开的状态，就会导致网站的“访客”百度蜘蛛被拒之门外的情况，长期下去就会降低百度蜘蛛对网站的好感，对网站的评分也会越来越低，自然会影响对网站的抓取。
3、网站的更新频率
网站的更新情况会影响着百度蜘蛛的抓取。
4、文章的原创性
只有高质量的原创文章才更合百度蜘蛛的“胃口”。
多重随机标签