proxy_pool 爬抓间隔设定

insrf1ej  于 2023-02-04  发布在  其他
关注(0)|答案(1)|浏览(161)

代理库更新很慢,程序老是提示no proxy,如何设置参数爬抓更新间隔短一点?

vql8enpb

vql8enpb1#

代理库更新很慢,程序老是提示no proxy,如何设置参数爬抓更新间隔短一点?

在调度里面,

proxy_pool/Schedule/ProxyRefreshSchedule.py

Line 100 in ac05bcb

| | scheduler.add_job(fetchAll, 'interval', minutes=10, id="fetch_proxy") |

目前默认是10分钟

相关问题