我工作的公司有一个NAS服务器,用于存储摄影会话。每个会话约为100gb。在过去的两年中,该服务器已积累了10 TB以上的数据,并且我们正以指数级的速度增加照片拍摄的数量。我估计到明年年底,该NAS上将存储20 TB以上的存储空间。当前,我们正在使用Symantec BackupExec使用LTO-5磁带将该服务器备份到磁带上。由于该服务器的大小已增加,因此该服务器的完整备份不会在一夜之间完成。有人对如何备份此数据量有什么建议吗?我们应该将其备份到磁带吗?还有其他更好的选择吗?

评论

为什么每晚都要执行完整备份?为什么不每周运行一次完整备份,而每周剩余六天运行增量备份?

那就是我们正在做的,对不起,我没有提到……每周的完整记录就是未完成的记录。

每周需要完成一整夜吗?对于足够大的数据集,每周花费超过24小时的情况并不罕见。

您正在使用哪种类型的NAS?

您确定拍摄的照片数量呈指数增长吗?

#1 楼

您需要退后一步,不要再想“我需要备份的NAS上有20TB!”并制定一种考虑到数据性质的存储策略:


它来自哪里,又要获得多少新数据? (您的问题中有这个问题)
一旦获得数据,如何使用这些数据?人们在编辑图片吗?您是否保留原件并生成编辑版本?
您需要保留所有数据多长时间?人们还在对2年前的图片进行更改吗?

根据最后两个问题的答案,您可能需要的不是完全不同的备份系统,而是更多的归档系统。

静态数据(例如,您保留“以防万一”的2岁图片)不需要每天晚上或每周都要备份。您的实际操作可能会更复杂,但是从概念上讲,所有旧照片都可以写到磁带上(多份!),不再备份。

基于您的评论,一些其他想法:


由于保持了每张照片的原件不变并进行复印,并且假设至少有一些原始图片已被删除,因此您可以减少需要备份的数据。
如果仍然无法在任何时间范围内完成完整备份,加快速度的常用方法是先进行磁盘到磁盘备份,然后再将备份集复制到磁带上。


评论


原始照片保持不变,然后使用另一张照片拍摄副本进行编辑。数据可能需要保存大约2年。

–耶稣·菲达尔戈
2012年12月12日下午4:40

+1说得好。总的来说,我对备份和存档之间的区别了解得很少感到惊讶。我对系统和临时数据(例如电子邮件和文档)进行了完整和增量备份,但将照片存档(1.2TB并在不断增长:-)。希望我也可以为磁盘到磁盘建议再提供+1。

–前翁布里亚斯
2012年12月12日6:30



+1我敢打赌,NAS上80%的数据永远不会再使用一次。

– Stefan Lasiewski
2012-12-12 6:49



+1此处最好的选择是每天甚至每小时进行一次磁盘到磁盘增量转移以捕获更改,然后每周或每半周将完整或增量备份发送到存档或异地提供者/位置。过去,我们每15分钟对SQL文件进行一次增量备份,以减少灾难恢复情况下的数据丢失量。

–布伦特·帕布斯特(Brent Pabst)
2012-12-12 13:53



#2 楼

您有两种选择:
选项1:

购买另一个NAS
使您的用户具有对new_NAS的RO访问权限
将所有2年以上的文件移动到new_NAS
像往常一样继续备份old_NAS
每6个月将2年以上的文件移动到new_NAS

选项2:


购买另一个NAS


每小时运行rsync:old_NAS-> new_NAS
,或更好地使用rdiff-backup之类的功能,它可以rsync +保持文件更改的增量(您可以还原旧版本的文件)
rdiff-backup  user1@old_NAS::/source-dir    user2@new_NAS::/dest-dir



每6个月清理运行一次的旧文件,例如:
rdiff-backup --remove-older-than 2Y    old_NAS::/dest-dir




#3 楼

为什么备份必须在一夜之间完成?文件服务器性能?您也许可以限制备份软件的带宽,以限制白天的影响。还是在NAS上指定一个接口来与磁带机对话,以限制对其他流量的影响。

您可以在周末运行完全转储,而在一周中仅执行增量操作吗?如果问题是周末没有人在附近更换磁带,那么便宜的磁带库/自动更换器的成本要比付钱给别人更换磁带便宜得多。

您可以将数据划分为多个组吗?足够小以在您的备份窗口内完成?

我们的NAS上大约有50TB的数据,并且需要花费一个星期的时间才能使用2个磁带驱动器完整地转储整个数据。本身将近一周,因为其中包含许多小文件)。我们要做的是将数据复制到另一个NAS。我们的辅助NAS位于现场(但与主NAS位于不同的数据中心),因此我们仍将数据假脱机到磁带上以进行异地备份。我们从该次要NAS运行备份,因此备份不会降低任何人的速度。

如果您可以将次要NAS放置得足够远,那么它就可以作为您的备份,不需要磁带。

#4 楼

我只是对每个拍摄时段的大小有疑问,真的是每次100GB吗?您的公司每月要进行几次会话?

由于您主要存储的是不经常使用的旧会话,等等,并且可能不需要经常恢复该信息,因此会建议您使用某家公司的服务来为您完成这项任务。例如,使用Amazon Glacier等在线服务存储这些20TB的存储每月将花费200美元以上。如果您需要经常检索那些档案,或者甚至要完全恢复,那么将会遇到一些时间/成本约束。如果您只是“确定要存储”这些东西而已,也许使用第三部分可以使您的生活更轻松(甚至比购买其他NAS,磁带等便宜)

评论


每个会话100 GB对我来说听起来有点高,但这并不是不合理的。我以前通常在工作时使用32 GB以上的会话,而我们的设备是中等级别的。

–汤姆·马修纳尔(Tom Marthenal)
2012年12月13日上午11:19

#5 楼

full backups of this server are not completing overnight
然后尝试增量备份吗?每xx天进行一次完整备份,其余部分进行增量备份。

硬盘价格便宜,比磁带便宜,可以用于备份。因此不需要继续添加更多和更快的磁带。
例如:


Red-Gate Cloud Services
Amazon备份存储

>支持Amazon Glacier(廉价的长期存储)


评论


查看评论-尚未完成的每周填充。此外,针对20TB数据进行云备份...不是一个好主意。 Amazon Glacier的“便宜”选项每年将花费约2500,而检索所有这些数据将花费约36,000。

–HopelessN00b
2012年12月12日17:01

这实际上不是很多。

– Sirex
2012年12月12日19:09

我想这是一个观点问题,如果相对于20TB相对安全和完全免维护的存储来说,每年$ 2400的价格是很多。没有功耗,没有冷却,没有故障的硬件,没有SLA,不占用机架空间。与大多数系统一样,您应该期望大约进行0次完全恢复操作。而且,如果您需要恢复,价格将比3600美元(约合1800美元)高(不确定从何处获得该数字)。

–泰德·汉森(Tedd Hansen)
2012-12-13 11:32

对于冰川而言,3.6万美元的价格非常接近。我粗略地估算为20TB的检索成本为$ 42K。它仍然不是很多。带宽更成问题。

– Sirex
2012-12-16 23:08



#6 楼

我认为,针对此问题的最佳解决方案是处理薪资数据,您只需花费很少的精力即可实现。


最初,它与服务器的其余数据保持在一起每天备份一次。我们在这些备份上的保留期为13个月。
一旦我们不再希望修改数据了(两个付款期,IIRC),数据(通过脚本)保存到了一个存档卷中从常规备份中排除。
每年将存档卷备份到磁带,然后将磁带发送到Cintas进行无限期存储。不变的数据(因此,我们不必在会计师想看东西的任何时候都挂上磁带),同时保持无限的数据外地存档,我们可能需要永久保存这些信息,而又不会破坏我们的备份系统。听起来类似的设置类型可能对您有用,尽管您可能想要调整保持在线的数据量,具体取决于您及时访问此数据的需求-20TB的企业级存储价格昂贵而不是将其归档到存储在异地保管库中的两三套LTO5磁带。

#7 楼

也许您可以构建自己的Backblaze Pod:135TB,价格为7384 $。

也许您可以构建其中的3个,并保留2个在现场和1个非现场。第一个Pod和第三个非现场Pod,作为紧急的非现场备份。

每个Pod都有135Tb的存储空间,您甚至可以考虑保留更改历史记录... 135Tb / 20Tb = 19完整备份副本。大量的差异备份。

自然地,如果您要进行异地备份,则需要某种大带宽... :-)

评论


如果您的数据和工作对您很重要,则不应尝试从头开始构建自己的Backblaze Pod。直到您意识到自己将所有鸡蛋都放在一个大篮子里,这似乎是一个好主意。更糟糕的是,该篮子尚未经过完整的整体测试。 Backblaze秘诀是跨多个Pod的软件复制,它允许整个Pod无缝地失败。相反,我建议使用超级微存储服务器,centos,xfs和rdiff-backup。

– bugaboo
2012年12月20日18:10



#8 楼

我的同事购买了Synology 8磁盘NAS。它运行混合RAID。几周前,他以每人89美元的价格从NewEgg购买了8块3TB希捷酷鱼。您可以通过GigaBit将生产NAS镜像同步到此新NAS。由于您仅转移差异,因此转移所需的时间较短。然后,您可以使用备份NAS执行完整或增量备份。备份NAS的成本不到$ 2000。