简介：网页去重是提高网络检索效果的有效途径。针对现有网页去重算法的不足和网页正文的结构特征，提出一个基于网页正文逻辑段落和长句提取的网页去重算法。该方法通过用户检索关键词将网页正文物理段落结构表示成逻辑段落，在此基础上提取逻辑段落中的长句作为网页特征码实现相似网页判断。实验证明，该方法提高了篇幅短小的镜像网页和近似镜像网页的去重效果。
简介：在搜索引擎的检索结果页面中，用户经常会得到内容相似的重复页面，它们中大多是由于网站之间转载造成的。为提高检索效率和用户满意度，提出一种基于特征向量的大规模中文近似网页检测算法DDW（Detectnear—DuplicateWebPages）。试验证明，比起其他网页去重算法（I—Match），DDW具有很好的抵抗噪声的能力及近似线性的时间和空间复杂度，在大规模实验中获得良好测试结果。
基于网页正文逻辑段落和长句提取的网页去重算法
一个基于特征向量的近似网页去重算法
