我需要针对重复数据删除软件的建议。

要求:


在Windows上运行
能够找到重复的存档:具有完全相同功能的文件相同的内容(因此尺寸相同)。名称,路径或日期无关。
执行自动操作的选项(例如将最新,最旧或文件保留在某个路径中)以及手动操作“不执行任何操作,提示操作”。最后一种情况(手动操作)可以在多个文件上执行
创建符号链接的选项:创建简单链接而不是简单地删除只发生一次的符号链接,而无需创建一个符号链接。
图形界面(而不是仅命令提示符)


#1 楼

重复文件查找器:http://doubles.sourceforge.net/

对于Windows和Linux。允许用户查找dup文件(不仅限于其名称,还包括其内容)。搜索可以包括和排除文件(例如:排除所有* .tmp)并限制搜索的文件大小。

可以通过删除文件或创建链接来删除dup文件。

不使用哈希,而是使用以下算法:


该算法如下:首先,所有文件均按其大小排序,因为如果(在逻辑上)它们的大小相同。
然后将文件相互比较,从而确定相等的文件。如果从给定的点开始两个文件不相等,则读取会中断;无需再阅读以确定这些文件不相等的信息。
因此,与使用哈希算法的程序(要完全读取所有文件)相比,确定结果的速度要快得多。
文件内容的额外缓存进一步提高了性能。


它易于使用且快速。可以将结果(文件名列表)存储在.txt文件中,以便您可以使用其他技术进一步处理。

许可证:GPL

评论


尽管未提及,该程序仍可在Windows 7 x64上运行。但是,如果您标识了另一个目录“ backup2012”,则不能告诉它删除文件夹“ backup2011”中的所有文件。每个文件都需要单击,这对45000个文件是无效的。或者您必须解析文件,这是专有格式。除此之外,即使使用2.000.000文件,它也可以正常工作。

–托马斯·韦勒(Thomas Weller)
16年1月23日在9:45

#2 楼

好吧,多年来,我一直在使用Duplicate Cleaner Free。它具有直观但功能强大的GUI,并具有许多功能,包括“将重复文件变成硬链接”。

 -    Find duplicate files, fast!  
 -    Cleaner hard drives means faster performance.  
 -    Fast Scanning and accurate duplicate comparison.  
 -    Locate duplicate music (includes MP3, iTunes (M4A) and more.)  
 -    Find Similar images (resized, rotated, edited and more.)  
 -    Find duplicate folders.  
 -    Flexible search settings - search the way you want to.  
 -    Intelligent Selection Assistant.  
 -    Search home or networked drives.  
 -    Search multiple locations.  
 -    Export / Import your results.  
 -    View all file information in a detailed list.  
 -    Large, resizable windows for easy browsing.  
 -    Handy image preview window with side-by-side comparison.  
 -    Delete duplicate files to the Recycle bin.  
 -    Move dupe files to a new location.  
 -    ***Turn duplicate file into hard links***.  
 -    Protection for Windows and system files.  
 -    Supports multiple languages.  
 -    Comprehensive user manual.  
 -  For Microsoft Windows XP, Windows Vista, Windows 7 and 8.  




#3 楼

总指挥官:Alt + F7,高级,搜索重复项:[x]大小,[x]内容。它使用类似的算法,例如Duplicate Files Finder。

许可证:共享软件,但您可以永久使用它,它只要求您在启动时按一个按钮。全文:Windows Total Commander是一个共享软件(演示版本)程序。这意味着您可以测试30天。测试完程序后,您必须订购完整版本,或者从硬盘中删除程序。


远距离管理器也可以做到。

#4 楼

多年来,我一直在使用Manyprog查找重复文件来成功删除重复文件。