百度蜘蛛(Baiduspider)爬取
进行网站日志分析的时候,常见到很多不同IP段的百度蜘蛛,为了方便大家更好的进行日志分析,下面列举了百度不同IP段常见蜘蛛的一些详情情况
220.181.108.95:这个是百度抓取首页的公用IP,如是220.181.108段的话,根本来说你的网站会每天隔夜快照
220.181.108.92:同上98%抓取首页,大概还会抓取其他(不是指内页)220.181段属于权重IP段此段爬过的文章或首页根本24小时放出来。
220.181.108.91:属于综合的,重要抓取首页和内页或其他,属于权重IP段,爬过的文章或首页根本24小时放出来。
220.181.108.75:重点抓取更新文章的内页到达90%,8%抓取首页,2%其他。权重IP段,爬过的文章或首页根本24小时放出来。
220.181.108.86:公用抓取首页IP权重段,普通前往代码是30400代表未更新。
220.181.108.89:公用抓取首页IP权重段,普通前往代码是30400代表未更新。
220.181.108.94:公用抓取首页IP权重段,普通前往代码是30400代表未更新。
220.181.108.97:公用抓取首页IP权重段,普通前往代码是30400代表未更新。
220.181.108.80:公用抓取首页IP权重段,普通前往代码是30400代表未更新。
220.181.108.77:公用抓首页IP权重段,普通前往代码是30400代表未更新。
220.181.108.83:公用抓取首页IP权重段,普通前往代码是30400代表未更新。
下面的百度蜘蛛IP造访,准备抓取你东西,抓取网页的百度蜘蛛。
60.172.229.61
61.129.45.72
百度竞价蜘蛛
61.135.165.134
117.34.74.66
118.122.188.194
119.63.196.9
125.39.78.185
站长工具模仿的百度蜘蛛。
61.147.98.146
61.188.39.16
113.98.254.245
117.21.220.245
117.28.255.42
60.28.22.0-60.28.22.255 天津市 百度蜘蛛
61.135.162.0-61.135.169.255 北京市 百度蜘蛛
61.135.186.0-61.135.190.255 北京市 百度蜘蛛
119.188.14.13-119.188.14.35 山东省济南市 百度蜘蛛
123.125.66.0-123.125.71.255 北京市 百度蜘蛛
159.226.50.0-159.226.50.255 北京市 百度蜘蛛
162.105.207.0-162.105.207.255 北京市 百度蜘蛛
180.149.133.0-180.149.133.255 北京市 百度蜘蛛
202.108.249.0-202.108.250.255 北京市 百度蜘蛛
220.181.19.0-220.181.19.255 北京市 百度蜘蛛
220.181.32.0-220.181.38.255 北京市 百度蜘蛛
220.181.108.0-220.181.108.255 北京市 百度蜘蛛
————————————————
版权声明:本文为CSDN博主「乐逍遥☺」的原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接及本声明。