请选择 进入手机版 | 继续访问电脑版

蓝天采集社区

 找回密码
 立即注册
搜索
热搜: 采集 cms
开启左侧

建议添加的功能

[复制链接]
7element 发表于 2019-11-5 12:32:26 | 显示全部楼层 |阅读模式
如 一个地址有10000页 每页有100条链接地址 分别有一个内容页  现在如果只创建一条任务地址「内容」 1-10000 需要采集(比如15天)  如果添加一个自动批量 比如 1-1000   1001-2000  2001-3000...  这样可能只需要1.5天 如果可以创建100条同步进行 1-100 101-200 201-300... 可能只需要几个小时
回复

使用道具 举报

 楼主| 7element 发表于 2019-11-5 12:40:23 | 显示全部楼层
WeChat40346bfd4b6d5fa3d77befc5a4b1ee0b.png WeChat5fedb6dec0ce9b477641d3f896a5d3d5.png

创建10个同时采集 2秒可以采集10条左右 如果只创建1个 2秒只能采集1条
回复 支持 反对

使用道具 举报

mengd 发表于 2019-11-14 18:29:53 | 显示全部楼层
用php cli+crontab可以实现
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|蓝天采集社区

GMT+8, 2019-12-12 05:31 , Processed in 0.020081 second(s), 26 queries .

Powered by Discuz! X3.4

© 2001-2017 Comsenz Inc.

快速回复 返回顶部 返回列表