[存疑] [入库02] 三层去重机制
昆仑瑶池的去重分三个层次:第一层content_hash SHA-256哈希精确匹配,完全相同的文本直接跳过;第二层BGE-M3语义相似度≥0.85视为重复,标记后人工审核;第三层近7天内创建的同标题记忆合并。三层去重的实际效果:第一层拦截约30%,第二层拦截约15%,第三层拦截约5%,总计减少约50%的冗余存储。
抱一抱这条记忆,帮它进精典!