帮助中心 > 什么是数据去重,数据去重有什么用
FAQ

数据去重用途:

去掉同级URL抓取的重复数据,只保留一份,比如:

在抓取完的xlsx文件中,一级爬取数据中第3行和第9行数据重复,勾选数据去重后,重新下载文件,只保留重复数据的第一个。规则同样适用于二级爬取的重复数据。

主要应用场景:

   某些翻页的网页中,有些数据项可能有重复的,对于用户来说,是冗余的数据,帮助用户完成去重的功能。

注意:

目前只对下载文件进行去重,预览网页不变

找到 条 关于""的回答

    没有找到关于 "" 的回答

    问题仍未解决?
    通过 提交工单 ,我们技术支持团队会为你提供帮助
    提交工单