请选择 进入手机版 | 继续访问电脑版

蓝天采集社区

 找回密码
 立即注册
搜索
热搜: 采集 cms
开启左侧

有没有内容某些特殊字段自动检测重复的

[复制链接]
280664511@qq.co 发表于 2020-5-15 13:35:04 | 显示全部楼层 |阅读模式
例如 大量帖子内容有手机号码,且有的手机号码发几十个帖子,倘若出现相同手机号码的内容只采集一条,其他的全部过滤。  手机号码不确定性 只能判断,大量帖子不能找出重复的各种手机号码

回复

使用道具 举报

青蛙疯子 发表于 2020-5-15 13:40:49 | 显示全部楼层
你试过“绑定”吗?
回复 支持 反对

使用道具 举报

 楼主| 280664511@qq.co 发表于 2020-5-15 13:58:13 | 显示全部楼层
青蛙疯子 发表于 2020-5-15 13:40
你试过“绑定”吗?

绑定后 全过滤掉了   我主要是过滤内容里的手机号码    好像把手机号码单独提取出来在加到字段 在内容组合起来就可以了
回复 支持 反对

使用道具 举报

蜀戎网络开发者 发表于 2020-5-15 14:35:39 | 显示全部楼层
我可以给你写一个函数插件,自动过滤掉内容中的手机号!
回复 支持 反对

使用道具 举报

 楼主| 280664511@qq.co 发表于 2020-5-15 15:37:05 | 显示全部楼层
蜀戎网络 发表于 2020-5-15 14:35
我可以给你写一个函数插件,自动过滤掉内容中的手机号!

谢谢  已经搞定了。我单独把电话提取出来排重的,然后再用字段组合到内容中的。能不能搞定人才网站的采集,现在人才网站手机号码都没法提取啊
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|蓝天采集社区

GMT+8, 2020-6-7 18:31 , Processed in 0.022401 second(s), 23 queries .

Powered by Discuz! X3.4

© 2001-2017 Comsenz Inc.

快速回复 返回顶部 返回列表