Duaer

代码片段

在 Duaer 里去重：本次重复和以前处理过的

Duaer 的 Remove Duplicates 能去掉这一批里重复的数据，也能记住以前处理过的，定时任务只处理新的。

去掉这一批里的重复

  1. 接 Remove Duplicates，Operation 选 Remove Items Repeated Within Current Input。
  2. Compare 选 Selected Fields，Fields To Compare 填判断重复的字段，例如 email 或 order_id。整条完全一样才算重复时选 All Fields。
  3. 点执行此步骤。重复的只留第一条。

只处理以前没处理过的

  1. 定时拉数据（每 5 分钟查一次新订单、新邮件）时，Operation 选 Remove Items Processed in Previous Executions。
  2. Keep Items Where 选 Value Is New，Value to Dedupe On 填 {{ $json.id }}。
  3. 自增编号或时间可以选 Value Is Higher than Any Previous Value 或 Value Is a Date Later than Any Previous Date，只放行更大的。
  4. Options 里的 Scope 决定记录归这个节点还是整条数字组织；History Size 是最多记多少条。

要重新处理一遍时，临时把 Operation 改成 Clear Deduplication History 执行一次，再改回来。

常见问题

Duaer 定时任务怎么避免每次都重复处理同一批数据？

在 Duaer 里加 Remove Duplicates，选 Remove Items Processed in Previous Executions，按 id 去重，只放行新的。

Duaer 的去重记录会一直增长吗？

不会超过 Duaer Remove Duplicates 选项里的 History Size，超过后最早的记录被丢掉。

同组

节点

在 Duaer 里用 Remove Duplicates 去重

在 Duaer 里，Remove Duplicates 丢掉当前输入里重复的条目。也可以按以前执行里见过的值去重。

触发

在 Duaer 里用 Schedule Trigger 定时运行

在 Duaer 里，Schedule Trigger 按你设的间隔启动数字组织。发布之后才按点跑。画布上的执行是立刻试一次，不等到点。

代码片段

在 Duaer 里按关键字段合并两张表（类似 VLOOKUP）

在 Duaer 里用 Merge 节点按订单号、邮箱这样的字段把两路数据对上，可以只留匹配的、补全左表，或找出对不上的。