蓝天采集社区

 找回密码
 立即注册

扫一扫,访问微社区

搜索
热搜: 采集 cms
查看: 145|回复: 1

希望指定网址允许重复采集或网址添加随机数功能!

[复制链接]

1

主题

3

帖子

21

积分

新手上路

Rank: 1

积分
21
发表于 2018-9-22 13:08:37 | 显示全部楼层 |阅读模式
有的网址,一直都是一样的,只是里面的数据会变,比如pubg的新浪微博,这是微博的json数据 https://m.weibo.cn/profile/info?uid=6037906900 这网址一直不会变,但里面的数据就会变,如果可以单独指定此任务网址允许重复采集(采集了此网址只要不入库已采集网址就可以了),或者允许在网址后面加个随机数的参数,比如https://m.weibo.cn/profile/info?uid=6037906900&rand=rand() 就象显示验证码一样,加一个随机数就每次不一样,采集的时候就是网址不重复的

另外数据处理希望添加采集的数据进行base64等加密处理,因为有些系统的内容不是明白保存的,使用了base64等加密保存,采集直接入库是明文!
回复

使用道具 举报

1

主题

3

帖子

21

积分

新手上路

Rank: 1

积分
21
 楼主| 发表于 2018-9-22 13:24:58 | 显示全部楼层
还有你们的论坛注册不方便,即然云注册了,登录进来还要注册论坛用户,为什么注册的时候不直接注册论坛帐号?最不可理解的,是注册的时候用邮箱注册了,发验证码到邮箱了,说明邮箱真实可用,登录进来再注册论坛帐号,居然还要验证邮箱,论坛可以设置去掉邮箱验证激活,这样操作重复了!
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|蓝天采集社区  

GMT+8, 2018-10-21 01:03 , Processed in 0.071756 second(s), 21 queries .

Powered by Discuz! X3.2

© 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表