请选择 进入手机版 | 继续访问电脑版

蓝天采集社区

 找回密码
 立即注册
搜索
热搜: 采集 cms
查看: 462|回复: 2

希望指定网址允许重复采集或网址添加随机数功能!

[复制链接]

1

主题

3

帖子

21

积分

新手上路

Rank: 1

积分
21
发表于 2018-9-22 13:08:37 | 显示全部楼层 |阅读模式
有的网址,一直都是一样的,只是里面的数据会变,比如pubg的新浪微博,这是微博的json数据 https://m.weibo.cn/profile/info?uid=6037906900 这网址一直不会变,但里面的数据就会变,如果可以单独指定此任务网址允许重复采集(采集了此网址只要不入库已采集网址就可以了),或者允许在网址后面加个随机数的参数,比如https://m.weibo.cn/profile/info?uid=6037906900&rand=rand() 就象显示验证码一样,加一个随机数就每次不一样,采集的时候就是网址不重复的

另外数据处理希望添加采集的数据进行base64等加密处理,因为有些系统的内容不是明白保存的,使用了base64等加密保存,采集直接入库是明文!
回复

使用道具 举报

1

主题

3

帖子

21

积分

新手上路

Rank: 1

积分
21
 楼主| 发表于 2018-9-22 13:24:58 | 显示全部楼层
还有你们的论坛注册不方便,即然云注册了,登录进来还要注册论坛用户,为什么注册的时候不直接注册论坛帐号?最不可理解的,是注册的时候用邮箱注册了,发验证码到邮箱了,说明邮箱真实可用,登录进来再注册论坛帐号,居然还要验证邮箱,论坛可以设置去掉邮箱验证激活,这样操作重复了!
回复 支持 反对

使用道具 举报

21

主题

608

帖子

1936

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
1936
发表于 2018-11-22 14:30:24 | 显示全部楼层
好的,感谢反馈,后续会改善
回复 支持 反对

使用道具 举报

*滑块验证:
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|蓝天采集社区

GMT+8, 2019-5-21 02:41 , Processed in 0.021581 second(s), 20 queries .

Powered by Discuz! X3.4

© 2001-2017 Comsenz Inc.

快速回复 返回顶部 返回列表