文档重复检测软件 DuplicateDetector

昝卓
2023-12-01

重复检测软件(Python实现)

可以检测英文文档之间的重复,包括完全重复(除标点,格式外都相同),和相近重复(部分(90%)抄袭)

TODO: 1. 数据抄袭(英文文档中数据集中的地方,比较多的数据相同) 2. 中文分词 3. 噪音消除

 

zoowii / DuplicateDetector

 类似资料: