操作系统是Windows Server 2008的两端。数据分为五个2 TB驱动器。
传输这些文件的推荐方法是什么？
FTP
SMB
Rsync / Robocopy
其他吗？
我对安全性不太担心，因为无论如何这些都是公共文件，但是我只想要一个能够提高完整11 MB / s传输速率的解决方案以最大程度地减少总传输时间。
#1 楼
相反，将硬盘驱动器运送到整个海洋。以11 Mbps的利用率实现充分利用，您正在等待不到90天的时间来传输10 TB。
11 Mbps = 1.375 MBps = 116.015 GB /天。
10240 GB / 116.015 GB /天=〜88.3天。
评论
Sneakernet +1。另外，您忘记了TCP / IP开销。在理想情况下，它更像是大约100天。
–克里斯S
2011年10月3日在20:25
一位智者曾经说过：“永远不要低估一辆载满胶带的旅行车的带宽”。该方程式非常正确，并且不会通过更改乘用旅行车来改变。 （bpfh.net/sysadmin/never-underestimate-bandwidth.html）
–罗布·莫尔
2011年10月3日20:36
最好运送磁带或蓝光盘，而不要运送驱动器。如果要使用驱动器，请确保原件安全保存，以防万一。我自己去买驱动器（除非我有Ultrium 4驱动器），因为10 TB = 410单层蓝光盘！
–艾伦
2011年10月3日在20:44
刚刚意识到我输入了11Mbps，但是我实际的意思是11MB / s。我想这有很大的不同，我的计算大约需要11到14天...这是正确的吗？
–Paul Hinett
2011年10月3日，21：14
仍然相信，在官方磁盘仍在工作的情况下，派人监督10TB备份，然后在设置完成后就可以进行rsync午餐来更新新服务器进行任何更改。您将在大约一天的时间内启动并运行计算机。
–LoïcFaure-Lacroix
2011年10月3日，22：54
#2 楼
我要说的是rsync，您将以11 MB / s的速度查看10-14天，即使您被打断，rsync也可以轻松地从上次停止的地方开始。以11 Mbps的速度运送硬盘，就像上面建议的一样：)
评论
您的估算与其他人的估算有很大不同（我不知道谁是正确的）。您能提供得出这些数字的方法吗？
–约翰·加迪尼尔（John Gardeniers）
2011-10-3 23:54
差异来自OP遗漏11 Mbps，而实际上他的意思是11 MBps-快8倍。顺便说一句，在中断的情况下重新启动10 TB rsync可能需要一段时间，不是吗？几个小时或更长时间？
–坦率的农夫
2011年10月4日，0：15
@FrankFarmer：我不会担心rsync重新启动；我通过30Mbps无线线路保留了约20TB的异地副本，重新启动的时间在几秒钟内。初始副本花了几个星期，但每晚更新通常需要几个小时。
–哈维尔
2011年10月4日在4:23
@FrankFarmer-rsync似乎可以很好地扩展。我在一条由Sneakernet发起的乡村ADSL1线路上有一个约2TB的空间，但是如果没有任何变化，则每晚需要约5分钟来进行rsync。
–柔印
2011年10月4日在7:28
rsync重新启动时间取决于文件数量（根据我的经验，主要取决于统计时间），而不取决于总数据。我希望没有明显的等待（最多几分钟）。虽然我对rsync的经验最高不到5TB。
–德罗伯特
2011年10月4日14:52
#3 楼
当然是Rsync。至少休息后您可以随时继续，而且没有任何痛苦。
评论
以100％的利用率复制3个月以上。抱歉，但这是传输大量数据的糟糕方法。
–克里斯S
2011年10月3日在20:26
我必须同意@ChrisS，仅使用rsync复制大文件效率不高。对于我的东西，我最终使用tar over netcat或ssh进行了初始传输。它更快并且可以立即开始传输，而rsync将首先扫描所有文件，这需要时间。如果此操作被中断，您以后仍可以使用rsync。实际上，有时我会在tar之后执行此操作，以确保所有权限，套接字文件等都是正确的。
–马丁·沙勒（Martin Scharrer）
2011年10月4日在7:20
在OP纠正了他有〜100Mb（而不是11Mb）的连接之后，rsync变得更加有意义。 +1是第一个提及的内容。
–克里斯S
2011年10月4日12:29
#4 楼
永远不要低估装满磁带的旅行车的带宽-传统。
对于您而言，还是由快递员发送的磁盘或磁带，但是原理仍然适用。如果您不担心延迟，那么与在任何合理的时间长度内传输10TB数据的网络带宽相比，这将是非常便宜的。
评论
杰夫·阿特伍德（Jeff Atwood）在他的《编码恐怖》（Coding Horror）的一个旧帖子中运行了这些数字。
– tardate
2011年10月4日19:34
#5 楼
您应该使用rsync。发送前，它将压缩数据并进行重复数据删除。它还可以恢复部分传输，这对于任何大型传输都非常重要。它可能不会传输10 TB;如果是日志和文本，并且可能小于1 TB;也许低于1 TB。
有一些工具比rsync的压缩性能更好，并且可能找到更多匹配项。您可以使用
lrzip等。某些特定类型的数据不能很好地压缩并且不包含文字重复项-例如视频和其他媒体。在这种情况下，FTP和rsync所做的工作几乎相同。
评论
RSync重复数据删除了吗？我认为它仅在文件级别执行此操作，这意味着重复数据删除在这种情况下几乎没有用。
–devicenull
2011年10月5日，下午2:41
#6 楼
我知道这已经被接受，但是您是否考虑过将磁盘带到可以获取更多带宽的数据中心/提供商/主机上？这可能会花费您一些钱，但是将10240Gb复制到备份磁盘并发送也会花费时间和金钱（2 x金钱）。还可以确保磁盘在传输中不会损坏。
评论
这个答案与接受的答案有什么不同？
–克里斯S
2011年10月4日，12：26
@Chris此答案建议将磁盘传输到同一大陆上的更大管道。
– Alex Jasmin
2011年10月4日18:57
#7 楼
11Mbps？这是您在这里的一个限制。具有至少10倍的带宽（在相同的数据中心内或在您附近的数据中心内）。传输文件
将数据应用于新服务器。
如果您真的没有增加带宽的解决方案...那么运送物理驱动器会更快。
从我的痛苦经历来看，硬盘驱动器往往会损坏邮件... USB闪存驱动器是频繁数据传输的更好解决方案。在您的情况下，将需要其中一些：)因此，请在多个硬盘上发送2个数据副本。
考虑到您拥有的数据量，您还可以从RAID 5或RAID发送驱动器如果在另一侧具有相同的硬件/软件来插入驱动器，则为6阵列。但是在这种情况下，请记住标记驱动器的顺序及其序列号，以便在重新配置时不会混淆它们。
评论
抱歉，11Mbps是一个错误的类型，它是11MB / s ...我在上面的评论之一中提到了。
–Paul Hinett
2011年10月4日19:17
#8 楼
在这种情况下，尽管我必须同意“使用硬盘驱动器运送”的答案，但在这里，当我必须第一次复制大量文件时，可以使用以下复制解决方案：rsync很不错为了使两个数据存储保持同步，它为初始传输带来了很多不必要的开销。我认为最快的方法是连接到tar。在接收器站点上，您还可以在侦听模式下使用netcat，它将输入的数据通过管道传输到提取的netcat。好处是tar立即开始发送，而tar以纯TCP流形式发送，而没有额外的高级协议开销。这应该尽可能快。但是，要在最后一个位置重新开始中断的传输并不简单。
也很容易压缩传输数据通过使用正确的
netcat选项或在管道中添加压缩工具。请注意，
tar发送的日期未加密。如果不是这种情况，则可以使用加密的netcat连接代替（ssh）。已同步。而且IIRC tar <options> | ssh <target> -c 'tar -x <options>'不会创建套接字，否则会丢失，但是无论如何它们并没有真正用于数据中心数据。评论
缺点是不能容忍插班
–乔尔·科尔（Joel Coel）
2011-10-18 17:50
#9 楼
同样，第一个建议是运送驱动器。第二个建议是使用rsync到rsyncd，而不是通过SSH。我尝试了很多事情，通常是最快的。切记打开压缩。另外，请查看增加或减小rsync缓冲区大小以获得最佳传输速率。它还可能有助于增加您的MTU大小。这仅在路由器在途中不对您的数据包进行分段的情况下才有用。有确定它们是否这样做的方法。
不幸的是，没有设置总是最好的。您必须进行试验，以找出最适合您的情况的方法。
#10 楼
您提到服务器正在运行Windows2008。MicrosoftDFS是否合适？在低端存在一些魔术，它试图从连接中获得尽可能多的带宽，并且还具有压缩和重复数据删除（IIRC）功能。请介意，硬盘，DVD或BluRays会更快...我的计算是11天以全11 MB / s的速度...
#11 楼
您可以为此使用torrent。在一端创建一个私人torrent，在另一端使用客户端。
尽管有加密功能，但您必须与要求。
评论
一对一的洪流关系并不比一对一的文件传输好。如果两个站点之间的管道有限，则您需要在不同的管道上放置多个播种机，理想情况下应在地理位置上分布。
–杰里米
2011年10月5日17:43
@Jeremy-就吞吐量而言，它并没有好坏。就可靠性（轻松的暂停/恢复）而言，可能会更好，这对于此大小xfer可能很重要
–乔尔·科尔（Joel Coel）
2011-10-18 17:52
评论
11 MB / s或11 Mb / s？将数据传输到二进制打孔卡并使用携带鸽:)
您应提供详细信息。您认为需要多少只鸽子呢？展示你的作品。
@Evik欧洲人还是非洲人？
顺便说一句，Wolfram Alpha是最方便的计算方式，“ 10 TB at 11MB / s”。 wolframalpha.com/input/?i=10+TB+at+11MB%2Fs