去重算法面临一个工程权衡：全量去重精确但计算量O(n²)，时间窗口去重快但可能漏掉跨窗口重复。瑶池采用增量去重+周期性全量方案：每次写入时在近7天窗口内去重（<100ms），每周日凌晨全量去重（约需3-5分钟）。实测表明7天时间窗口覆盖了约93%的重复情况，全量去重再捕获剩余7%。这种组合策略在精度和性能间取得了平衡。