0 收听	4 听众	43 主题

蜘蛛多久来一次网站爬去数据

发表于 2020-1-14 14:44:11 | 查看: 572| 回复: 1

蜘蛛多久来一次网站爬去数据

小强是最具生命力的生物！

发表于 2020-1-14 16:11:15

不同网站爬行时间和周期不一样，如果网站每天更新，蜘蛛就会每天来爬；网站如果每周更新一次，一段时间后蜘蛛就会一周来一次；如果从来不更新，慢慢的蜘蛛就不会来爬了。蜘蛛会根据你网站的更新频率和时间来确定什么时候去

GMT+8, 2024-5-21 18:07 , Processed in 0.073500 second(s), 23 queries .

		自动登录	找回密码
密码			立即注册