有没有一种简单的方法可以用硬链接替换重复的文件？

#1 楼

http://cpansearch.perl.org/src/ANDK/Perl-Repository-APC-2.002/eg/trimtrees.pl中有一个perl脚本，它完全可以满足您的需求：


遍历在
命令行上命名的所有目录，计算MD5校验和
并查找具有相同MD5的文件。如果它们相等，则进行真正的比较
，如果确实相等，则将两个文件中的第二个
替换为与第一个文件的硬链接
。

#2 楼

rdfind确实满足您的要求（并且按johny为什么列出顺序）。使删除重复项成为可能，并用软链接或硬链接替换它们。与symlinks结合使用，您还可以使符号链接成为绝对链接或相对链接。您甚至可以选择校验和算法（md5或sha1）。
由于它经过编译，因此比大多数脚本解决方案都快：time位于15 GiB文件夹中，2009年我的Mac Mini上具有2600个文件，返回此

9.99s user 3.61s system 66% cpu 20.543 total

（使用md5）。
在大多数程序包处理程序中可用（例如，用于Mac OS X的MacPorts）。

#3 楼

使用fdupes工具：

fdupes -r /path/to/folder为您提供目录中重复项的列表（-r使其递归）。输出看起来像这样： >
，文件名1和文件名2相同，文件名3，文件名4和文件名5也相同。

#4 楼

我使用来自http://jak-linux.org/projects/hardlink/
的hardlink

#5 楼

这是“ fslint”提供的功能之一-
http://en.flossmanuals.net/FSlint/Introduction

单击“合并”按钮：

#6 楼

由于您的主要目标是节省磁盘空间，因此还有另一种解决方案：在文件系统级别进行重复数据删除（可能是压缩）。与硬链接解决方案相比，它不存在不经意地影响其他链接文件的问题。
如果您使用的是Linux，则可以尝试zfs-fuse，或者如果您使用的是BSD，则本机支持。

#7 楼

如今，在现代Linux上，有一个https://github.com/g2p/bedup可以在btrfs文件系统上进行重复数据删除，但是1）没有太多的扫描开销，2）之后文件可以很容易地重新发散。

#8 楼

要查找重复的文件，可以使用duff。


Duff是Unix命令行实用工具，可以在给定的文件集中快速查找
中的重复项。


只需运行： bash或其他脚本语言。

#9 楼

aptitude show hardlink

描述：硬链接同一文件的多个副本
硬链接是一种检测同一文件的多个副本并将其替换为硬链接的工具。

这个想法来自http://code.google.com/p/hardlinkpy/，但是代码是从头开始编写的，并获得了MIT的许可。 http://jak-linux.org/projects/hardlink/

#10 楼

jdupes已在评论中提及，但值得自己回答，因为它可能在大多数发行版中都可用并且运行非常快（它仅在大约一分钟的时间内释放了2.7GB的158GB完整分区（SSD驱动器）的2.7GB）： br />

jdupes -rL /foo/bar

#11 楼

我使用了这里提到的许多用于Linux的硬链接工具。但是最近在cp手册页中注意到了轻量级副本，这意味着在修改一侧之前要保留冗余磁盘空间：

#12 楼

在我看来，首先检查文件名可以加快处理速度。如果两个文件缺少相同的文件名，那么在许多情况下，我不会认为它们是重复的。似乎最快的方法是按顺序比较：


文件名
size 字节内容

这有什么方法吗？查看duff，fdupes，rmlint，fslint等。

以下方法在commandlinefu.com上获得最高投票：查找重复文件（首先基于大小，然后基于MD5哈希） br />可以先添加文件名比较功能，然后再添加文件大小比较功能吗？

find -not -empty -type f -printf "%s\n" | sort -rn | uniq -d | \
  xargs -I{} -n1 find -type f -size {}c -print0 | xargs -0 md5sum | \
  sort | uniq -w32 --all-repeated=separate

评论

---

我使用了duff，fdupes和rmlint，并强烈建议读者阅读其中的第三篇。它具有出色的选项集（和文档）。有了它，我可以避免很多我需要与其他工具一起使用的后期处理。

– dubiousjim
2015年9月2日在6:32

---

在我的实践中，文件名是最不可靠的因素，我已将其从重复数据删除的所有工作中完全删除。在活动的系统上可以找到多少个install.sh文件？我无法计算保存文件并发生名称冲突的次数，并且需要进行一些动态重命名来保存它。反面：不知道我在不同的日子从不同来源下载了多少次，却发现它们是同一个文件，但名称不同。 （这也会破坏时间戳的可靠性。）1：大小，2：摘要，3：字节内容。

–辛德拉巴
17年1月28日在6:40

---

@GypsySpellweaver：（1）取决于个人用例，您不同意吗？就我而言，我有多个备份的多个还原，其中具有相同名称和内容的文件存在于不同的还原文件夹中。 （2）您的评论似乎仅假设比较文件名。我不是在建议取消其他检查。

–约翰尼为什么
17 Mar 8 '17 at 21:50

---

不要使用rmlint。它发出一个不检查错误的shellscript。它将删除重复项，然后尝试进行硬链接，这可能会失败（例如，由于链接过多），然后继续处理遭受相同命运的下一个重复项。它会吞噬您的文件。正确的方法是使用一个临时名称创建它，然后通过重命名替换副本。

–the8472
20-10-7在10:01

---

#13 楼

由于我不喜欢Perl，因此这里是bash版本：

 #!/bin/bash

DIR="/path/to/big/files"

find $DIR -type f -exec md5sum {} \; | sort > /tmp/sums-sorted.txt

OLDSUM=""
IFS=$'\n'
for i in `cat /tmp/sums-sorted.txt`; do
 NEWSUM=`echo "$i" | sed 's/ .*//'`
 NEWFILE=`echo "$i" | sed 's/^[^ ]* *//'`
 if [ "$OLDSUM" == "$NEWSUM" ]; then
  echo ln -f "$OLDFILE" "$NEWFILE"
 else
  OLDSUM="$NEWSUM"
  OLDFILE="$NEWFILE"
 fi
done
 

此查找所有具有相同校验和的文件（无论它们是大，小还是已经进行了硬链接），并将它们硬链接在一起。 ）和文件缓存（因此您不必每次都重做校验和）。如果有人对更智能，更长的版本感兴趣，可以发布它。 br />

#14 楼

我制作了一个Perl脚本，它执行的操作与您在说的内容类似：计算其中文件的SHA1sum，对其进行哈希处理并将匹配项链接在一起。它在很多场合都派上用场了。

#15 楼

如果要在Mac或任何基于UNIX的系统上通过“硬链接”替换重复项，可以尝试SmartDupe http://sourceforge.net/projects/smartdupe/
开发它

#16 楼

应用程序FSLint（http://www.pixelbeat.org/fslint/）可以在任何文件夹中（按内容）找到所有相等的文件，并创建硬链接。试试看吧！

Jorge Sampaio

#17 楼

如果您要进行硬链接，请注意该文件的权限。注意，所有者，组，模式，扩展属性，时间和ACL（如果使用的话）存储在INODE中。只有文件名不同，因为文件名存储在目录结构中，其他指向INODE属性。因此，链接到同一索引节点的所有文件名都具有相同的访问权限。您应该防止修改该文件，因为任何用户都可能将文件损坏。很简单。足够了，任何用户都可以使用相同的名称放置其他文件。然后保存索引节点号，并为所有硬链接名称破坏（替换）原始文件内容。更好的方法是在文件系统层上进行重复数据删除。您可以使用BTRFS（上次非常流行），OCFS或类似方法。查看页面：https://zh.wikipedia.org/wiki/Comparison_of_file_systems，特别是在表功能和列重复数据删除中。您可以单击它并进行排序：)

专门查看ZFS文件系统。这可以作为FUSE使用，但这种方式非常慢。如果需要本机支持，请查看页面http://zfsonlinux.org/。然后，您必须修补内核，然后安装用于管理的zfs工具。我不明白，为什么Linux不支持作为驱动程序，这是许多其他操作系统/内核的方法。 ZFS支持块。这意味着，可以删除在同一文件中重复的相同内容。其他方法是对数据进行重复数据删除的时间，该时间可以是联机（zfs）或脱机（btrfs）。

请注意，重复数据消除会消耗RAM。这就是为什么将文件写入通过FUSE挂载的ZFS卷会导致性能显着降低的原因。在文档中对此进行了描述。
但是您可以在线设置卷上的开/关重复数据删除功能。如果看到任何数据应进行重复数据删除，则只需将重复数据删除设置为开，将某些文件重写为任何临时文件，最后替换。之后，您可以关闭重复数据删除并恢复完整性能。当然，您可以将任何缓存磁盘添加到存储中。这可以是非常快速的旋转磁盘或SSD磁盘。当然这可以是很小的磁盘。在实际工作中，这是对RAM的替代:)

在Linux下，您应该注意ZFS，因为并非所有工作都应按其正常工作，特别是在管理文件系统，制作快照等时，但是如果进行配置和不要更改它，一切正常。换句话说，您应该将linux更改为opensolaris，它本身支持ZFS :) ZFS的优点是，它既可以用作文件系统，又可以用作类似于LVM的volumen Manager。使用ZFS时不需要它。如果您想了解更多信息，请参阅文档。

注意ZFS和BTRFS之间的区别。 ZFS更老，更成熟，不幸的是仅在Solaris和OpenSolaris下（不幸的是被oracle扼杀）。 BTRFS较年轻，但上次获得了很好的支持。我建议使用新内核。 ZFS具有在线重复数据删除功能，这会导致写入速度变慢，因为所有内容都是在线计算的。 BTRFS支持离线重复数据删除。这样可以节省性能，但是当主机无关时，您可以定期运行用于重复数据删除的工具。 BTRFS是在linux下本地创建的。也许这对您来说是更好的FS :)

#18 楼

硬链接可能不是最好的主意。如果一个用户更改了文件，则会同时影响两个文件。但是，删除硬链接不会同时删除两个文件。另外，我不能完全确定Hard Links是否占用与同一文件的多个副本相同的空间（在硬盘上，而不是OS）。根据Windows（带有Link Shell扩展），它们确实可以。当然，那是Windows，而不是Unix ...

我的解决方案是在一个隐藏文件夹中创建一个“公共”文件，然后用符号链接替换实际的重复项...然后，符号链接将嵌入元数据或备用文件流，这些元数据或备用文件流仅记录但两个“文件”彼此不同，例如，如果一个人想要更改文件名或添加自定义专辑封面或类似内容；它甚至可能在数据库应用程序之外很有用，例如安装同一游戏或软件的多个版本，并以最小的差异进行独立测试。

#19 楼

最简单的方法是使用特殊程序
dupeGuru

如文档所述

删除选项
这些选项影响重复删除的方式。
大多数情况下，您不需要启用任何一个。
链接已删除的文件：
已删除的文件将替换为指向参考文件的链接。
您可以选择用符号链接或硬链接替换它。
...
符号链接是文件路径的快捷方式。
如果删除或移动了原始文件，则链接会断开。
硬链接是指向文件本身的链接。
该链接与“真实”文件一样好。
仅当删除与文件的所有硬链接时，文件本身才会被删除。 br />在OSX和Linux上，完全支持此功能，
但是在Windows下，它有点复杂。
Windows XP不支持，但是Vista及以上版本支持。
但是，要使该功能正常工作，
dupeGuru必须具有管理特权才能运行。